В этой истории есть что-то от иронии греческой трагедии.
Стивен Розенбаум написал новую книгу под названием «The Future of Truth» («Будущее правды»). Её тема: ИИ «искажает, размывает и синтезирует правду».
Затем The New York Times обнаружила, что в книге шесть цитат являются «некорректно приписанными или сгенерированными» — то есть сфабрикованными ИИ.
По поводу одной из них технологический журналист Кара Суишер заявила The New York Times: «Я этого никогда не говорила».
Что касается другой цитаты, профессор Северо-Восточного университета Лиза Фельдман Барретт сказала: «Этого нет в моей книге, и к тому же это неверно».
Это первый уровень иронии.
Второй уровень иронии заключается в том, что, признав проблему, Розенбаум заявил, что не перестанет использовать ИИ.
Что произошло
В процессе написания Розенбаум использовал ChatGPT и Claude для «поиска идей, нахождения статей, обобщения тем и выявления людей или исследований, которые стоит изучить глубже». В своих заметках он помечал эту информацию тегом «это от ИИ».
Затем эти заметки были переданы фактчекерам и двум литературным редакторам, предоставленным издательством.
Из 285 внешних цитат шесть оказались проблемными. Три из них были «синтетическими цитатами» — полностью выдуманными без какого-либо источника.
Розенбаум сказал: «Я думаю, мы сработали очень эффективно, но не на сто процентов. Мы работали, мы старались изо всех сил. Мы посмотрели, всё выглядело правильно. Мы перепроверили, но всё же допустили ошибку».
Однако большинство писателей при работе над книгой обходятся нулевым количеством сфабрикованных цитат.
Почему это серьёзнее, чем кажется
Проблема не в том, что один писатель допустил ошибку. Проблема в том, что традиционный процесс фактчекинга системно даёт сбой перед лицом письма с помощью ИИ.
Раньше фактчекеры могли с полным основанием предполагать, что цитаты, приводимые автором, были взяты им напрямую из первоисточника. Эти цитаты, конечно, требовали проверки, но изначально вызывали меньше подозрений — поскольку их можно было верифицировать.
Но когда в процесс вмешивается ИИ, это предположение рушится. ИИ способен генерировать цитаты, которые выглядят абсолютно правдоподобно — с правильным форматом, верными именами и даже названиями книг — но содержание при этом выдумано.
Фактчекер видит идеально оформленную и совершенно правдоподобную цитату. У него нет причин сомневаться в ней — если только он не решит специально проверять каждую. А когда в книге 285 цитат, стоимость их поштучной верификации становится огромной.
Это как если бы технология печати денег усовершенствовалась, а детекторы купюр остались старыми.
Самая тревожная часть: автор не может остановиться
Заявление Розенбаума, которое он сделал Ars Technica, беспокоит меня гораздо больше, чем любые синтетические цитаты:
«Заставить меня не использовать ИИ несколько лет, пока он сам не разберётся, а потом вернуться к… Microsoft Word… это не в моей природе. ИИ — это магия. Потому что он соединяет, он сплетает мысли, даёт вам пути рассуждений, до которых вы сами бы не додумались».
Он сравнил ИИ с Кольцом Всевластья из «Властелина колец» — «оно заставляет многих пользователей верить, что они могут правильно контролировать его силу. Но могут ли они?»
Метафора очень точна. Но он не осознаёт, что сам является доказательством этой метафоры.
Он написал книгу о вреде ИИ. ИИ сфабриковал цитаты в его книге. Он признал это, исправил, но заявил, что не может остановиться.
В этом и заключается проклятие Кольца. Не «я не знаю, что оно вредно», а «я знаю, что оно вредно, но всё равно буду им пользоваться».
Структурный кризис издательской индустрии
У этой истории есть и более широкий контекст: новостные редакции и издательства «сокращают штат литературных редакторов и фактчекеров».
Издательская отрасль под финансовым давлением: всё меньше людей делают всё меньше работы. Затем приходит ИИ, обещающий повысить эффективность — заменить уволенных сотрудников одним инструментом.
Но ИИ — это не «улучшенный человек». Это нечто совершенно другой категории. Он допускает ошибки, которых не допускают люди — и эти ошибки совершенно не похожи на ошибки.
Когда издательство увольняет фактчекеров, затем использует ИИ для помощи в написании, а в конце ставит печать на контенте, который «выглядит правильным», и публикует его — каждый этап этого процесса привносит риски.
Моё мнение
Позиция Розенбаума оказалась честнее, чем я ожидал. Он признал проблему, не стал оправдываться и проводит «полный аудит цитат». Это ответственный подход.
Но его заявление о том, что он не перестанет использовать ИИ, вызывает у меня тревогу.
Не потому, что «письмо с помощью ИИ» само по себе проблематично. А потому, что большинство авторов, использующих ИИ, вероятно, не будут так же честны, как Розенбаум, и за ними не будет следить The New York Times.
Представьте: менее известный автор пишет книгу с помощью ИИ. ИИ выдумывает несколько цитат. Фактчекеры (если они вообще есть) этого не замечают. Книга выходит в свет. Никто не проводит расследование.
Никто об этом не узнает.
В этом и заключается суть проблемы. Не в том, что «ИИ ошибается», а в том, что «когда ИИ ошибается, мы можем никогда об этом не узнать».
Книга Розенбаума рассказывает о том, как ИИ синтезирует правду. Его собственная книга стала примером того, как ИИ синтезирует правду внутри книги о синтезе правды ИИ.
Иронично? Да. Но что важнее: сколько ещё таких примеров появится после этой книги?
Основные источники: