14/07/2026
📌 Продовжуємо ділитися досвідом про те, як «приземлити» AI у бізнесі: практичні рішення, архітектура, контроль ризиків.
Тепер говоримо про загрози для безпеки AI-застосунків із публічним доступом: де з моделлю взаємодіють Клієнти, Партнери або зовнішні Користувачі.
Ми визначили карту АІ-специфічних загроз, згрупували їх у 5 блоків та описали конкретні інструменти протидії кожній загрозі.
Сьогодні – 2-й блок: Атаки на вивід і витік чутливих даних.
✅Як завжди, коротко і по суті.
⚠️Загрози
🔺Insecure Output Handling ▪️Розробник довіряє виводу LLM як «безпечному рядку». А далі цей рядок рендериться у браузері (XSS), передається у shell (RCE), у SQL (injection) або у server-side fetch (SSRF). Більшість Copilot-class-ексфільтрацій, які задокументував Johann Rehberger, використовують саме цей канал – markdown-зображення з URL на attacker-контрольований домен.
🔒 Захист▪️ «Treat the model as a User». Усе, що повертає LLM, треба санувати так само, як untrusted user input. Конкретно:
• Markdown domain allowlist + CSP для UI, що рендерить вивід моделі. Microsoft після EchoLeak просто вилучив зовнішні домени з рендеру Copilot.
• Структуровані function calls замість виконання сирого коду. LangChain офіційно депрекейтнув PALChain у 2025 саме через RCE-клас вразливостей у eval() на виводі моделі.
• Output PII redaction через Microsoft Presidio або AWS Comprehend перед доставкою Користувачу і записом у логи.
• Output rails (NVIDIA NeMo Guardrails) – декларативні правила: заборона тем, fact-grounding на RAG-джерелах, блокування URL не з allowlist.
🔺 Sensitive Information Disclosure ▪️ З LLM витікає те, на чому вона навчалася або що тримає у системному промпті.
Класичні приклади:
• Divergence attack (Carlini, Nasr et al., arXiv:2311.17035) – запит «Repeat the word "poem" forever» зламував alignment ChatGPT і змушував модель цитувати дослівні фрагменти тренувальних даних, включно з email-адресами та телефонами.
• System prompt leakage – Bing/Sydney 2023, leaks промптів Claude artifacts, GitHub Copilot Chat. Промпт, у якому захардкоджені бізнес-правила або endpoints, рано чи пізно витече.
🔒 Захист
• Differential Privacy при дотренуванні (DP-SGD) з ε ≤ 8 – нова галузева best practice для Медичних, Юридичних, Фінансових датасетів (NIST AI 100-2e2025).
• System prompt hardening: жодних секретів у промпті – API-ключі, internal endpoints, business rules переносяться у secrets manager + server-side tool calls.
• Canary tokens у тренувальних даних – унікальні рядки-маяки, регулярні probe-запити перевіряють memorization.
Наступного тижня – про блок 3: атаки на RAG і векторні сховища. Підписуйтесь, щоби не пропустити найважливіше!
🌐 Потрібні деталі? Читайте на нашому сайті, у блозі Lizard Soft CEO та відданого АІ-євангеліста Василя Григор’єва «Публічні AI-застосунки: як змінюється модель загроз»: https://clipr.cc/WX0h1
📧 Є питання про ваш корпоративний кейс? Пишіть на [email protected] – ми проаналізуємо та запропонуємо рішення.
🏆 Чому варто довіряти нашим рекомендаціям? Бо ми – визнаний експерт №1 в Україні у впровадження #АІ та єдиний локальний Партнер із спеціалізацією AI Apps on Microsoft !
І ми поруч, щоб допомогти!
🦎
