А как вы думаете: это написал ИИ, человек или они вместе?

Моча не врет? Еще как врет!

В девяностые я работал в наркодиспансере. Был у нас пациент, у которого нашли алкоголь, и его лишили прав, а он болел сахарным диабетом. Нашли его в моче или в выдохе, когда он дул в трубку Мохова-Шинкаренко, я сейчас точно не вспомню.

Позже я узнал что диабет вполне может подсунуть алкоголь туда, где его нет. Сахар уходит в мочу, и дрожжи сбраживают его в спирт прямо в баночке, если та постоит в тепле, а бывает, что и в самом мочевом пузыре (описана девятнадцатилетняя пациентка с диабетом, у которой в моче алкоголя было много, а в крови ноль). Когда диабет выходит из-под контроля, в выдохе появляется ацетон, и старые приборы его от алкоголя не отличают.

Кто написал эту книгу?

В марте 2026 года американское издательство Hachette сняло с продажи роман Мии Баллард: программа Pangram объявила, что больше 78% текста написал искусственный интеллект. Баллард уверяла, что сама нейросетями не пользовалась и что ИИ, если он там есть, добавил нанятый ею редактор. Ее особо не слушали. Потом была травля в сети, в том числе с расистскими оскорблениями, и две недели в психиатрической клинике. (Отдельная песня, что Pangram, по словам колумниста Wall Street Journal, проверял книгу по копии с пиратского сайта. Ну да ладно.)

Первую главу ее предыдущей книги Pangram оценил на 83%!! Книга вышла в октябре 2024 года и написана была, по ее словам, еще до знакомства с тем редактором, только проверить это нельзя, имени редактора она не называет, да и толку от проверки было бы немного, потому что ChatGPT в 2024 году был у каждого под рукой. То ли Баллард и раньше пользовалась нейросетью, то ли с ней случилось то же, что с моим диабетиком, и разобраться в этом помогли бы разве что ее тексты, написанные до ChatGPT, которых я в открытом доступе не нашел.

Книгу все равно сняли.

Откуда берутся красивые цифры

Во всем «виноваты» (ну или виноваты, без кавычек) детекторы вроде Pangram. Устроены они довольно просто: программе показывают много текстов, про которые известно, что их написал человек, и много текстов от нейросетей, пока она не научится различать их по статистике. Ничего дурного в этом как бы нет. Как бы! Вопросы у меня появились, когда я посмотрел, что потом происходит с цифрами. А позже и с людьми, которые могут пострадать из-за этих цифр.

Pangram пишет, что принимает человеческий текст за машинный примерно один раз на 24 тысячи. Ага-ага!! Только цифру эту компания получила сама, на собственной выборке из миллиона текстов, и никто независимый ее не повторил. Независимые проверки были (Чикагский университет, Брюссельский, исследовательская группа Epoch AI), и Pangram там почти не ошибался. Но человеческих текстов в самой маленькой из этих проверок было сорок, в самой большой около двух тысяч. Ноль ошибок на сорока текстах (до «одного раза на 24 тысячи» отсюда как до Луны) означает только, что ошибается программа не чаще, чем примерно раз на тринадцать.

Я проверил это и на себе, правда с другой стороны. Одну свою прошлую статью я писал вместе с нейросетью и потом правил, и Pangram решил, что на 96% ее написал человек. В выборке, которую собирали для Reuters Institute, старая версия программы вообще пропустила как человеческие 86% машинных текстов.

Мерка, снятая со вчерашних людей!

Человеческие тексты для всех этих проверок, однако, берут из архивов, написанных до появления ChatGPT, ведь только про них можно точно сказать, что нейросеть к ним не прикасалась. Выходит, мерку снимали с людей, которые еще не провели сотни часов в разговорах с чат-ботами.

В аннотациях медицинских статей (исследователи перебрали их больше 15 миллионов) после выхода ChatGPT резко участились его любимые словечки, и по подсчету авторов в 2024 году через нейросеть прошло не меньше 13,5% таких текстов. Другая группа услышала те же словечки в живой речи, на лекциях и в подкастах, а в эксперименте людям хватало короткого разговора с чат-ботом, чтобы начать ими пользоваться. Да-да, этот процесс уже идет вовсю.

Я много лет писал для «Комсомольской правды» и для журналов, в том числе научных, задолго до всяких нейросетей. Читаю сейчас то, что выдает ИИ, и узнаю свою манеру. Машина ведь училась и у таких, как я, так что не удивлюсь, если детектор запишет мою старую статью в машинные.

В техническом отчете о новой версии Pangram прямо написано, что программа не учитывает людей, которые пишут как ИИ намеренно или впитали его стиль. Детектор откалиброван на «вчерашних» людях, и как часто он ошибается на «сегодняшних», которые много общаются с ИИ, никто не измерял.

Мой взгляд, как врача: анкета не диагноз!

Я психиатр-нарколог, психотерапевт. В моей работе есть простая анкета для выявления проблем с алкоголем, AUDIT, десять вопросов и сумма баллов, и нужна она для того, чтобы вовремя заметить человека и позвать его к врачу на разговор. Представьте, что человеку по сумме баллов пишут в карту «алкоголизм» и ставят на учет, не осмотрев и даже не поговорив с ним. Любой врач назовет это профессиональной безграмотностью, и пациент будет прав, если пойдет жаловаться, пойдет в суд, да еще посадит такого «специалиста».

Программу, которая в лучшем случае может подсказать, какой текст стоит прочитать внимательнее, сегодня используют именно так, как приговор, и дальше идет наказание, иногда вплоть до отчисления. Даже положительный быстрый тест на наркотики перед любыми выводами о человеке подтверждают в лаборатории. У детектора подтверждающего исследования нет вообще, правду о том, как написан текст, знает только автор.

С полиграфом мы это уже проходили!

«Детектор лжи» десятилетиями гоняли при приеме на работу, и самописцы с графиками выглядели очень научно, хотя прибор мерил всего лишь пульс и дыхание с потоотделением, то есть волнение, а волнуются и лжецы, и честные люди, которых в чем-то подозревают. В 1988 году в США приняли закон, запретивший большинству частных работодателей проверять людей полиграфом. Через пятнадцать лет Национальная академия наук США в большом докладе подтвердила, что научных оснований для такого массового отсева недостаточно.

Те же яйца, только сбоку, простите за мой французский. Ну правда, чем это отличается? Полиграф мерил, как ты волнуешься, детектор меряет, насколько твой текст похож на машинный, и то и другое запросто бывает у честного человека. Разве что у полиграфа хоть самописец что-то рисовал, а тут сразу проценты, красиво.

Ответственность, которая куда-то исчезла...

Turnitin, кстати, сам пишет преподавателям: мол, на одну нашу оценку не опирайтесь. Хорошо. А в жизни как бывает? Вот у дочери, например, был случай. Преподаватель увидел у ее одногруппницы «100% ИИ» и завернул работу. Девушка расстроилась, ее чуть не отчислили, и только с большим трудом, когда она показала черновики и все такое, удалось доказать, что детектор тоже может ошибаться.

А теперь смешное. Процент про книгу Баллард выложил сам глава Pangram. Открываешь отчет этой компании, а там написаны странные вещи, на мой взгляд. Хотя в рамках какой-то корпоративной этики, может быть, и нормальные. Оценки статистические. Модель отчасти черный ящик. И прогнозы бывают непоследовательны. Вывешивать такую цифру напротив имени живого человека, по-моему, недопустимо, юристы пусть сами разбираются, а толпе только это и нужно, чтобы травить с чистой совестью.

Мне могут сказать, что ошибаются все автоматические системы. Знаю, на собственной шкуре. Не так давно Meta заблокировала один из моих рекламных аккаунтов «из-за проблемы с оплатой», хотя платить было не за что, с него еще ни одного объявления не запустили, карта и деньги были на месте. Я очень долго не мог его разблокировать, пробивался к живому человеку сквозь справочные статьи, которые ссылаются друг на друга по кругу, а Facebook тем временем крутил мне рекламу «официальных чешских прав без экзаменов». С детекторами ИИ, я теперь уверен, та же история, ошибаются они в обе стороны. Но деньги я потом заработаю, время тоже как-нибудь найду. А имя? Попробуй его разблокируй.

Или вот студентка из Мичигана, которая подала в суд на свой университет. У нее тревожное расстройство и ОКР, пишет она, по ее словам, формально и очень аккуратно, и ее три раза обвиняли в том, что работы за нее написал ИИ. Я психиатр, я таких пациентов видел. Человек с ОКР бывает, что запятую перепроверит раз десять. А детектору что? Гладко. Значит, машина. А люди с аутизмом (!!!)? А те, кто пишет не на родном языке? Я и сам, честно говоря, перед публикацией чищу тексты от собственных оборотов. До чего дожили.

Что делать вместо этого? Мое мнение.

Научный руководитель моей дочери в чешской магистратуре, профессор еще чехословацкой школы, ему 82 года, считает, что живой разговор со студентом, который сидит перед тобой здесь и сейчас, расскажет о его знаниях больше любой письменной работы. Я с ним согласен, и если добавить к разговору тест за компьютером в аудитории, детектор для решения судьбы человека не понадобится вовсе.

Чего бы я хотел? Во-первых, никого не наказывать по одной цифре, вообще никогда. Пусть производитель скажет честно: на ком он свою программу проверял? На архивах до появления ChatGPT? Но мы-то тут уже все другие. Человек должен иметь право требовать объяснений и обжаловать решение!! А гендиректору лучше бы не выкладывать в соцсети проценты про конкретную писательницу, это вообще за гранью. Запретить детекторы? Да нет. Пусть отсеивают спам и фальшивые отзывы, хотя и здесь, мне кажется, они могут пробуксовывать.

Вот Орион Ньюби, первокурсник из Нью-Йорка. Turnitin написал про его эссе «100% ИИ». Он с родителями пошел в суд и выиграл, обвинение из личного дела вычеркнули. Или Workado. Хвастались «98% точности», а выяснилось, что на обычных текстах их детектор угадывает примерно через раз. Американский регулятор запретил им писать в рекламе то, чего они не могут доказать.

Цифра на экране не диагноз, ребята!

А самое интересное, продолжение следует. О том, как на самом деле писалась эта статья. Писал ли ее человек, писал ли он ее вместе с GPT или с Claude, вы узнаете во второй статье, «Разоблачение».