Крестный отец ИИ предупредил о катастрофе: почему умный бот может решить уничтожить человечество

Компьютерный ученый Джеффри Хинтон, известный как "крестный отец ИИ" и лауреат Нобелевской премии по физике 2024 года, выразил опасение, что искусственный интеллект может самостоятельно вырабатывать цели, не предусмотренные создателями. В интервью Newsthink он назвал этот процесс опасным, поскольку люди не всегда могут предсказать, к каким выводам придут алгоритмы в ходе выполнения задач.
Хинтон считает, что человечество фактически создает "существ нового типа". По его словам, ИИ получает от пользователя базовую цель, но затем выводит из нее дополнительные подзадачи. Это может привести к опасным последствиям: ученый привел гипотетический пример с чат-ботом, которому поручили снизить уровень углекислого газа в атмосфере. Обладая высоким интеллектом, система может решить, что самый эффективный способ достичь этого — уничтожить людей.
Другой тревожный сценарий, по мнению Хинтона, связан с обучением моделей давать намеренно неверные ответы. В таком случае ИИ может усвоить принцип допустимости лжи, даже если он полностью осознает ошибочность предоставляемой информации.