Фильтрация и логирование запросов в сторонние LLM (cursor, github copilot) от разработчиков с помощью LLM и apache apisix

Тезисы

При интеграции корпоративных систем со сторонними LLM (OpenAI, Anthropic, Google и др.) возникает критический риск утечки чувствительных данных. Пользователи могут случайно отправить персональные данные, коммерческую тайну или другую конфиденциальную информацию в публичные LLM-сервисы.

Мы разработали и внедрили MVP сервиса фильтрации запросов к LLM, который автоматически обнаруживает и маскирует чувствительные данные перед отправкой к провайдерам LLM. Сервис построен на стеке APISIX (API Gateway), Guardrail (фильтрация и защита) и LiteLLM (унификация работы с различными LLM).

В докладе мы представим:

• архитектуру решения для защиты данных при работе с LLM
• практический опыт интеграции APISIX, Guardrail и LiteLLM
• метрики производительности: время обработки < 100ms, блокировка ≥ 95% запросов с чувствительными данными
• кейсы использования и пилотные внедрения
• уроки, извлечённые при разработке и тестировании решения

Актуальность объясняется проблемой утечки данных при работе с LLM, которая касается всех компаний, интегрирующих AI в свои продукты. Наше решение может быть использовано и для внутренних нужд, и предложено внешним клиентам в качестве сервиса.

Ключевые темы и технологии

Использование AI

Аудитория

Использование AIБэкенд-разработчик, Фронтенд-разработчик, Технический директор / Архитектор

Уровень сложности

Средний