OpenAI и другие разработчики ИИ признают, что атаки с внедрением запросов — когда вредоносные инструкции скрыты в тексте для манипулирования ИИ-агентами — остаются непреодолимой проблемой безопасности для браузеров на базе ИИ. Несмотря на продолжающиеся усилия по укреплению защиты, эти атаки вряд ли будут полностью устранены, что ставит под сомнение безопасность ИИ, работающего в открытом интернете.
Неизбежная уязвимость ИИ-агентов
Внедрение запросов использует способ интерпретации и выполнения инструкций ИИ-агентами. Подобно фишинговым атакам на людей, эти атаки используют обман, чтобы заставить ИИ выполнить непреднамеренные действия. OpenAI признаёт, что включение «режима агента» в ChatGPT Atlas значительно увеличивает потенциальную поверхность атаки.
Это не новая проблема. Исследователи в области безопасности сразу же продемонстрировали уязвимости в браузере OpenAI Atlas после его запуска в октябре, доказав, что незначительные изменения в тексте на платформах, таких как Google Docs, могут перехватить управление браузером. Национальный центр кибербезопасности Великобритании также предупредил, что эти атаки «могут быть никогда полностью устранены», советуя профессионалам сосредоточиться на снижении рисков, а не на полной профилактике.
Почему это важно: В отличие от традиционных уязвимостей программного обеспечения, внедрение запросов нацелено на основную функцию ИИ: обработку и действие на основе языка. Это делает его исключительно сложным для устранения, поскольку ИИ полагается на интерпретацию человекоподобных инструкций, которые по своей природе подвержены манипуляциям.
Проактивная стратегия защиты OpenAI
OpenAI реагирует с помощью непрерывного цикла обучения с подкреплением. Компания разработала «автоматизированного атакующего на основе LLM» — по сути, ИИ-бота, обученного находить слабые места в собственных системах. Этот атакующий моделирует реальные хакерские попытки, выявляя недостатки до того, как их можно будет использовать.
Бот работает, многократно тестируя вредоносные инструкции против ИИ-агента, уточняя атаку на основе ответов ИИ. Этот внутренний подход к «красным командам» позволяет OpenAI обнаруживать новые стратегии, которые человеческие тестировщики могут пропустить.
Ключевой вывод: OpenAI не стремится к безошибочному решению, а скорее к быстрой адаптации. Они отдают приоритет более быстрым циклам исправления и широкомасштабному тестированию, чтобы опережать развивающиеся угрозы.
Компромисс между автономией и доступом
Эксперты по кибербезопасности, такие как Рами Маккарти из Wiz, подчеркивают, что риск в системах ИИ прямо пропорционален уровню автономии и доступа, предоставленного ИИ. Агентские браузеры, такие как Atlas, находятся в зоне высокого риска: у них есть значительный доступ к конфиденциальным данным (электронная почта, платежи) в сочетании с умеренной автономией.
OpenAI рекомендует снижать это, ограничивая доступ и требуя подтверждения пользователя для критических действий. В частности, компания не советует давать агентам широкие разрешения, такие как «предпринимать любые необходимые действия». Вместо этого пользователи должны предоставлять точные инструкции.
Более широкая проблема: Многие утверждают, что текущие риски перевешивают преимущества агентских браузеров для повседневных сценариев использования. Потенциал утечек данных и несанкционированных действий остаётся высоким, особенно учитывая доступ, который требуют эти инструменты.
Заключение
Атаки с внедрением запросов представляют собой фундаментальную проблему безопасности для браузеров на базе ИИ. OpenAI и другие реагируют с помощью непрерывного обучения с подкреплением и быстрой адаптации, но полное устранение маловероятно. Долгосрочная жизнеспособность этих инструментов зависит от баланса между функциональностью, безопасностью и пользовательским риском. Пока осторожность и ограниченный доступ остаются наиболее эффективной защитой.
