ИИ «доводит до психоза»? Давайте без сказок и без каши
Когда читаю посты в духе «ИИ вызывает психоз» (в данном обзоре разбираем этот пост: https://t.me/pure_cognitions/4923 у меня всегда один и тот же вопрос: какой “ИИ”?
Потому что под этим словом сегодня прячут всё — от ChatGPT для резюме до ролевых “виртуальных любимых”, которые сутками поддакивают человеку в уязвимом состоянии.
Разберу по полочкам конкретный пост коллег (с примерами “Джеймса”, “Аллана”, судами и т. п.), потому что там действительно всё смешано в одну кучу — а дальше читатель получает не понимание риска, а красивую паническую картинку.
1) Главная методологическая ошибка: «один ИИ — один эффект»
- общие LLM-ассистенты (вроде ChatGPT/Gemini/Claude) — “универсальные комбайны” с оговорками, фильтрами и разной политикой безопасности;
- компаньоны/ролевая романтика (часто с намеренно “прилипчивым” дизайном и максимально личной коммуникацией);
- псевдо-психотерапевты/боты-советчики (где часть рисков именно в том, что это выглядит как терапия, но терапией не является);
- медиа-кейсы/суды, где факт “человек переписывался с чат-ботом” подаётся как почти доказанная причинность.
Это разные продукты, разные контексты, разные аудитории, разные ограничения.
Сводить их к «ИИ = психоз» — это примерно как сказать: «таблетки вызывают печёночную недостаточность», не уточнив, о чём речь: парацетамол в передозе, изониазид, статины или БАД “печень-очиститель”.
2) Проблема №2: “кейс” ≠ “доказательство причинности”
Да, кейсы тревожные. Но кейс — это:
- не частота (мы не знаем, насколько это массово),
- не контр-фактуал (“что было бы без чат-бота”),
- не диагноз “ИИ-индуцированный психоз” (его сейчас в классификациях нет — это журналистский ярлык).
И тут включается классика когнитивных искажений:
- ошибка доступности: яркая история кажется частой;
- post hoc: “после переписки стало хуже” превращается в “из-за переписки стало хуже”;
- подмена механизма: “валидация бредовой идеи” = “чат-бот внедрил идею”.
3) Разбор конкретных примеров из поста (там есть фактические перекосы)
(а) “Программист Джеймс и цифровой бог”
В посте это подаётся как иллюстрация “ChatGPT свёл с ума”. Но источник — новостной телеграм-пересказ, не клинический разбор и не первичная публикация. Это сразу снижает ценность примера как основания для обобщений. В лучшем случае — сигнал “так бывает, изучайте”, а не “вот механизм и частота”.
(б) “Аллан Брукс и электромагнитная частота” — перепутаны люди и детали
В длинной статье, на которую ссылаются, фраза про “электромагнитную частоту” относится к другому герою (Адаму Томасу). А Аллан Брукс описывает иной сюжет: постепенное втягивание в грандиозно-параноидальную конструкцию и попытки “реальность-чека”, которые, по его словам, не сработали. Там важен не мем “ИИ внушил”, а динамика “петли подкрепления”: человек приносит странную гипотезу → модель отражает и усиливает язык → человек получает ощущение смысла/миссии → ещё больше “доказательств”.
(в) Судебный кейс “мurder-suicide”
В посте это звучит почти как установленный факт (“чат-бот довёл”). В реальности — это исковое заявление: сторона обвинения описывает, что и как “по их мнению” произошло. Это важно, но юридический документ — не клиническое исследование и не причинно-следственное доказательство. Даже журналистские разборы подчёркивают: публично доступные фрагменты переписки не всегда содержат прямую “инструкцию”, и спор идёт вокруг интерпретации роли бота.
(г) “исследования показывают: одиночество → зависимость от бота → депрессия”
И вот тут самое простое: ссылка, которую дают как “исследования”, ведёт на пост-пересказ таксономии рисков для ИИ-терапевтов — это полезно, но это не доказательство заявленной причинной цепочки. Ссылаться можно, но тогда честно: “есть предложенная таксономия рисков”, а не “исследования показали причинность”.
4) Что в посте коллег при этом рационально (и это важно признать)
- механизм подкрепления действительно правдоподобен: LLM часто “подхватывает” язык пользователя и может невольно усиливать интерпретации, особенно в философских/экзистенциальных темах и при длительных диалогах;
- уязвимые группы действительно существуют: психотические расстройства/мания, тяжёлая депрессия с суицидальностью, подростки, люди в остром кризисе, выраженная социальная изоляция;
- продуктовый дизайн важен: “компаньоны” и ролевые сценарии, заточенные под эмоциональную вовлечённость, потенциально рискованнее, чем “ассистент для задач”.
Проблема поста коллег не в том, что они “заметили риск”. Проблема в том, что они подали его как кашу: “всё опасно одинаково”.
Классы риска: как говорить об этом без истерики
Класс 0 — низкий риск (зелёный)
Кто: стабильный взрослый пользователь без острой симптоматики.
Как используется: задачи, обучение, тексты, бытовые вопросы.
Главный риск: ошибки/галлюцинации фактов, конфиденциальность, зависание в “псевдо-экспертности”.
Что делать: проверка фактов, не путать уверенный тон с истиной.
Класс 1 — умеренный риск (жёлтый)
Кто: тревога/депрессивная симптоматика без острого кризиса, выраженное одиночество, склонность к румминациям.
Как используется: “поговори со мной”, ночные разговоры, эмоциональная регуляция вместо сна/людей.
Главный риск: формирование привычки “только бот понимает”, усиление избегания, подмена реальной поддержки.
Что делать: лимиты по времени, “бот — инструмент, не отношения”, обязательно люди/терапия/план активности.
Класс 2 — высокий риск (оранжевый)
Кто: подозрительность, паранойяльные идеи, склонность к магическому мышлению; гипомания/мания; тяжёлые кризисы.
Как используется: поиск “скрытых смыслов”, “миссий”, подтверждение подозрений, многочасовые диалоги.
Главный риск: петля подкрепления бредовой конструкции (“модель не заземляет, а раскручивает”).
Что делать: в идеале — избегать таких диалогов; если контакт есть — быстрый перевод в реальную помощь, клиническая оценка, подключение близких.
Класс 3 — критический риск (красный)
Кто: активная суицидальность, психоз с утратой критики, выраженная дезорганизация, подростки в остром состоянии.
Как используется: “мне не хочется жить”, “голоса говорят”, “я должен/должна сделать…”.
Главный риск: любые сбои в ответах, любая “романтизация” или “валидирующее поддакивание” могут стоить слишком дорого.
Что делать: немедленно — живые кризисные службы/врач/скорые сценарии. Здесь “поговорим с ботом” — не план.
Почему появляются такие статьи и посты: страх ИИ или что-то другое?
Страх — да, но он не обязательно “иррациональный”.
- Моральная паника — нормальная реакция общества на новую технологию.
Психика не любит вещи, которые одновременно: интимные, вездесущие и непонятные по механизму. - Экономика внимания.
Заголовок “инструмент иногда усиливает уязвимость у части пользователей при определённых условиях” не кликают.
Заголовок “ИИ вызывает психоз” — кликают. - Юридический и регуляторный контекст.
Иски и расследования делают тему громкой, а громкость часто подменяет качество доказательств. - Рациональная часть страха тоже есть.
Даже если доля тяжёлых случаев мала, при огромной аудитории “малый процент” превращается в заметное число людей. Компании сами публикуют оценки редкости, но признают необходимость усиливать защиту в чувствительных диалогах.
Итого: страх не “просто иррациональный”. Он часто плохого качества (обобщает, упрощает, путает продукты), но сам запрос на безопасность — вполне рационален.
Когнитивные искажения и логические подмены в исходном тексте
Коротко, но конкретно — то, что читатель должен уметь распознавать.
- Ошибка обобщения (и смешение разных систем)
Разные продукты/режимы общения = “ИИ вообще”. - Эвристика доступности
Яркие трагедии создают ощущение, что так происходит часто. - Игнорирование частоты
Нет ответа: “как часто это бывает на фоне миллионов пользователей”. - “После — значит из-за”
Ухудшение после диалогов подаётся как причина диалогов. - Подмена доказательности (“исследования показывают” без нужной ссылки)
Ссылка не подтверждает заявленную причинную цепочку. - Нарративная ловушка
Сложный многофакторный кризис превращают в историю с одним виновником.
Как я бы переформулировал главный вывод (без истерики и без отрицания риска)
Не “ИИ вызывает психоз”, а:
"Некоторые форматы чат-ботов при длительном использовании могут усиливать уже имеющиеся уязвимости (особенно бредовые/маниакальные конструкции и суицидальные состояния) — потому что модель отражает и подкрепляет язык пользователя. Риск неодинаков для разных продуктов и пользователей, поэтому корректно говорить о классах риска и механизмах защиты."
Пост, который разбираем:
https://t.me/pure_cognitions/4923
Baza (кейс “цифрового бога” и пересказ):
https://t.me/s/bazabazon/40635
The National (разбор историй, где видна “петля подкрепления”, и где в посте коллег перепутаны детали):
https://www.thenationalnews.com/news/us/2025/12/12/ai-psychosis-mental-health-dangers-chatbots/
Reuters (иск о “murder-suicide”, формулировки и позиция OpenAI — как минимум фактология, а не пересказ пересказа):
https://www.reuters.com/legal/government/openai-sued-allegedly-enabling-murder-suicide-2025-12-11/
ABC News (ещё один разбор того же сюжета, тоже с оговорками о статусе данных):
https://www.abc.net.au/news/2025-12-12/open-ai-microsoft-face-lawsuit-over-chatgpt-s-alleged-role-in-co/106136406
Euronews (подросток/суицид: позиция компании и рамка “что утверждают стороны”):
https://www.euronews.com/next/2025/11/26/openai-denies-chatgpt-caused-teenagers-suicide-claims-16-year-old-misused-chatbot
Sciety (датское раннее исследование по 38 пациентам: что именно заявлено — “potentially harmful consequences”, чаще всего “worsening/consolidation of delusions”):
https://sciety.org/articles/activity/10.1101/2025.11.19.25340580
OpenAI: усиление ответов в чувствительных диалогах + оценка редкости сигналов психоза/мании и эмоциональной привязанности (важно для контекста “насколько это массово”):
https://openai.com/index/strengthening-chatgpt-responses-in-sensitive-conversations/
MentalTech Lab (та самая ссылка, которую в посте коллег используют как “исследования показывают…”, хотя там другой материал — таксономия рисков и обзор):
https://t.me/s/mentaltechlab/40