Security risks and protection of AI models in smart retail

Rodrigo Resendes Pedro

Key information

Authors:

Rodrigo Resendes Pedro (Rodrigo Resendes Pedro)

Supervisors:

Nuno Miguel Carvalho dos Santos (Nuno Miguel Carvalho dos Santos); Paulo Jorge Fernandes Carreira (Paulo Jorge Fernandes Carreira)

Published in

November 15, 2023

Abstract

Nos últimos anos, a indústria de retalho tem adotado tecnologias avançadas para melhorar a experiência de compra, como large language models (LLMs) e computer vision models (CV). LLMs, que conseguem compreender e gerar texto em linguagem natural, estão a ser integrados em aplicações na forma de chatbots. Para garantir que LLMs respondam com informações relevantes, esta integração depende de middleware como Langchain. O Langchain permite o LLM converter questões dos utilizadores em queries SQL, permitindo-lhe aceder a informações da aplicação armazenadas em bases de dados para fornecer respostas relevantes. No entanto, prompts de utilizadores não-sanitizados podem levar a ataques de injeção prompt-to-SQL, comprometendo a segurança da base de dados. Em simultâneo com o rápido desenvolvimento de LLMs, verifica-se uma tendência para lojas autónomas que utilizam sensores e modelos de CV para proporcionar uma experiência sem-checkout. Um desafio fundamental consiste em garantir a segurança dos modelos CV proprietários usados para stream processing quando implementados em infra-estruturas não confiáveis. Esta tese apresenta uma análise das injeções P2SQL dirigidas a aplicações web baseadas no Langchain. Exploramos ataques de injeção P2SQL e suas variantes em vários LLMs, e propomos quatro técnicas de defesa. Propomos também TrustedVision, uma nova arquitetura concebida para implementar de forma segura aplicações proprietárias em plataformas não-confiáveis. O sistema protege a integridade e a confidencialidade de propriedade intelectual e dados sensíveis usando de Trusted Execution Environments (TEE). O proof of concept desenvolvido mostra um aumento na latência de 13,71% em aplicações LLM. Adicionalmente, propomos soluções futuras para desafios adicionais de design. In recent years, the retail industry has undergone a significant transformation, adopting advanced technologies to enhance the overall shopping experience, such as large language models (LLMs) and computer vision models (CV). LLMs, which can understand and generate natural language text, are rapidly being integrated into applications as chatbots. To ensure the LLM can reply with relevant information, this integration often relies on middleware such as Langchain. Langchain enables the LLM to convert user questions into SQL queries, allowing it to access application information stored in databases to provide accurate responses to users. However, unsanitized user prompts can lead to prompt-to-SQL (P2SQL) injection attacks, compromising the security of the database. Concurrently with the rapid LLM development, there is a major shift towards autonomous stores that leverage sensors and CV models to provide a checkout-free experience. A key challenge is ensuring the security of proprietary CV models for stream processing deployed in untrusted infrastructure. This thesis presents a comprehensive examination of P2SQL injections targeting web applications based on the Langchain framework. Using Langchain as our case study, we explore P2SQL injection attacks and their variants across multiple state-of-the-art LLMs, and propose four defensive techniques. We also propose TrustedVision, a novel system architecture designed to securely deploy proprietary applications on untrusted platforms. The system protects the integrity and confidentiality of intellectual property and sensitive data by leveraging Trusted Execution Environments (TEE). Our proof-of-concept shows an increase in latency by 13.71% in LLM applications. Moreover, we propose future solutions to additional design challenges.