Детекторы ИИ выдают желаемое за действительное: раскрыт главный обман технологий

Специалисты Popular Science попытались определить, можно ли с высокой точностью отличить текст, написанный человеком, от контента, созданного нейросетями. Для проверки эффективности популярных детекторов ИИ был проведен эксперимент: пять различных сервисов протестировали образцы текстов, подготовленные автором и тремя популярными языковыми моделями: ChatGPT, Gemini и Claude.
Методика была простой: автор взял вступления к своим реальным статьям (написанным без помощи ИИ) и попросил нейросети создать аналогичные вступления объемом около 150 слов, основываясь на темах и тезисах оригиналов. Затем эти образцы поочередно пропустили через фильтры детекторов.
Результаты проверки детекторов

Исследование показало, что сервисы по-разному справляются с задачей. Все протестированные инструменты без ошибок определили человеческий текст как оригинальный, однако в распознавании машинного контента возникли сложности.