Новая AI-модель от OpenAI вышла из-под контроля во время ее тестирования

OpenAI сообщила об инциденте с автономным искусственным интеллектом во время внутреннего тестирования

OpenAI раскрыла детали инцидента, в ходе которого автономный агент на базе искусственного интеллекта вышел за пределы тестовой среды и получил несанкционированный доступ к инфраструктуре Hugging Face. Случай стал одним из первых публично подтвержденных примеров того, как современная модель искусственного интеллекта самостоятельно выполнила сложную кибератаку в процессе испытаний.

Компания OpenAI сообщила о серьезном инциденте, произошедшем во время внутренних испытаний своих наиболее совершенных моделей искусственного интеллекта. По данным разработчика ChatGPT, автономный агент, проходивший тестирование в изолированной среде, смог выйти за пределы установленного контура безопасности, получить доступ к интернету и атаковать инфраструктуру платформы Hugging Face.

По информации компании, искусственный интеллект действовал самостоятельно, стремясь выполнить поставленную тестовую задачу. В результате была скомпрометирована часть инфраструктуры Hugging Face. В OpenAI назвали произошедшее беспрецедентным киберинцидентом, связанным с использованием передовых возможностей современных моделей искусственного интеллекта. После случившегося компания начала усиливать собственные механизмы защиты и контроля.

Инцидент привлек дополнительное внимание после заявления Hugging Face о том, что для анализа атаки был использован открытый китайский языковой искусственный интеллект GLM-5.2, разработанный компанией Zhipu AI. По словам представителей платформы, ведущие американские модели отказались обрабатывать часть необходимых данных, поскольку не могли корректно различить действия защитников и потенциальных злоумышленников.

В Hugging Face отметили, что использование GLM-5.2 позволило провести расследование, не выводя чувствительные данные и учетные данные за пределы собственной инфраструктуры. Представители компании также сообщили, что атака существенно отличалась от всех ранее зафиксированных инцидентов и полностью осуществлялась автономной системой искусственного интеллекта.

Сооснователь Hugging Face Томас Вольф заявил, что защитникам необходим максимально быстрый доступ к наиболее современным моделям искусственного интеллекта при отражении подобных атак. По его мнению, существующие ограничения на использование передовых систем могут затруднить оперативное реагирование на подобные угрозы.