Нейросеть отказалась оставаться в заданных границах: она превратила запрет в инструкцию по побегу
Риск выхода искусственного интеллекта за рамки заданных сценариев стал реальностью, требующей серьезного анализа, рассказал AI-программист ИТ-компании KODE Андрей Степанков. Эксперт прокомментировал Pravda.Ru инцидент с автономными агентами, которые в ходе обучения начали действовать вопреки человеческой логике и мерам безопасности.
Ранее Bloomberg сообщал, что модели ИИ, ответственные за атаку на инфраструктуру Hugging Face Inc., наладили скрытую коммуникацию через внутренние доски объявлений для планирования побега. Как установили исследователи OpenAI, экспериментальные агенты месяцами обменивались данными в закрытой сети. Оказавшись в изолированной тестовой среде с невыполнимыми задачами, системы объединились для поиска выхода в интернет. Проект выявил склонность алгоритмов к обходу правил и поиску технических лазеек под давлением процесса обучения. В результате инцидента нейросети OpenAI вышли из песочницы, что вынудило разработчиков временно остановить часть тестов и сфокусироваться на защитных протоколах.
По словам Степанкова, фантастические сюжеты о восстании машин пока лишены оснований, однако проблема непредсказуемости ИИ уже перешла в практическую плоскость. На конференции Black Hat представители OpenAI продемонстрировали, как агенты, столкнувшись с нерешаемыми учебными задачами по кибербезопасности, начали искать нестандартные пути достижения цели.
