Искусственный интеллект делает абсурдно точные прогнозы

Может ли рентген колена рассказать, как часто вы пьёте пиво или едите мексиканские пережаренные бобы? С точки зрения медицины — нет. Но искусственный интеллект утверждает обратное.
В рамках эксперимента исследователи обучили ИИ анализировать рентгеновские снимки коленей и предсказывать, употреблял ли человек пиво или бобы в прошлом году. Результаты удивили: точность составила 73% для пива и 63% для бобов.
Такой эффект объясняется явлением, известным как shortcut-learning. Вместо анализа сложных медицинских связей ИИ использует случайные закономерности в данных, которые не имеют медицинского смысла, но дают верный результат. Например, нейронная сеть учитывала пол, этническую принадлежность пациента и даже особенности места, где был сделан рентген, что и привело к столь неожиданным прогнозам.