«Этого не может быть». Почему самые невероятные угрозы мы замечаем слишком поздно

Есть довольно устойчивая особенность нашего мышления: оценивая вероятность какого-то события как невысокую, мы почти перестаём задумываться над второй частью задачи, а именно над тем, что произойдёт, если это событие всё-таки случится. Если же событие вдобавок выглядит фантастическим, мозг нередко делает ещё один шаг, уже совершенно незаконный с точки зрения логики, превращая честное «я не представляю, как такое возможно» в куда более самоуверенное «такого не может быть».

Поводом об этом написать стала новость, которая появилась на этой неделе: в интервью Fortune глава OpenAI Сэм Альтман на прямой вопрос ответил, что появление системы искусственного интеллекта, которая выйдет из-под человеческого контроля, представляется ему абсолютно возможным, и добавил, что компания пока не готова продвигать возможности моделей дальше без дополнительного прогресса в их управляемости и предсказуемости (Fortune, 12 сентября 2026 года). Можно относиться к подобным прогнозам как угодно, считать их преувеличенными, спорить о вероятностях, требовать доказательств, и, более того, именно так и следует поступать. Но меня здесь интересует другое: реакция обычного человека на саму формулировку «искусственный интеллект выходит из-под человеческого контроля» слишком часто сводится к одной мысли, что это уже фантастика, а вот здесь и начинается интересная психология.

Большую часть жизни мы оцениваем вероятность событий не при помощи формул, а глядя на собственный опыт: я прожил пятьдесят лет, и такого не происходило, мои родители прожили жизнь, и такого не происходило, никто из знакомых этого не видел, следовательно, вероятность ничтожна. Правда, последнее утверждение совершенно не следует из предыдущих.

Исследования принятия решений описывают любопытный эффект, который называют description-experience gap, разрывом между решениями, основанными на описании риска, и решениями, основанными на собственном опыте. Когда человеку сообщают, что вероятность очень плохого результата составляет один процент, он способен учитывать этот риск, но если он должен узнать о вероятности из собственного опыта, редкие события начинают недооцениваться. Причина довольно прозаична: в небольшой выборке личного опыта редкое событие чаще всего просто не встречается.

В крупном метаанализе Вульфа, Мергенталер-Кансеко и Хертвига, объединившем более 70 тысяч решений свыше шести тысяч участников, один из главных выводов состоял именно в этом: при обучении на собственном опыте люди слишком мало исследуют ситуацию и поэтому нередко просто не сталкиваются с редким исходом, из-за чего он получает меньший вес, чем заслуживает в соответствии с реальной вероятностью (Wulff, Mergenthaler-Canseco, Hertwig, Psychological Bulletin, 2018).

Иначе говоря, если катастрофа ещё не происходила, наш мозг начинает использовать само её отсутствие в прошлом как доказательство её невозможности в будущем, хотя это могут быть совершенно разные вещи.

В психологии катастроф есть понятие normalcy bias, которое обычно переводят как ошибка нормальности: человек получает тревожные сигналы, но интерпретирует их так, чтобы сохранить прежнюю картину происходящего. И в обычной жизни подобная стратегия даже полезна, ведь большинство необычных звуков ночью действительно не означают начало катастрофы, а большинство тревожных прогнозов не реализуются в худшей форме. Если бы на каждый необычный сигнал мы реагировали как на начало конца света, нормальная жизнь была бы попросту невозможна.

Проблема возникает в тех редких случаях, когда окружающий мир действительно перестал быть нормальным, а мозг продолжает подгонять новые данные под старую модель. Хорошо эту ловушку иллюстрирует история одиннадцатого сентября 2001 года.

По данным Национального института стандартов и технологий США, основанным на телефонных интервью почти с девятьюстами выжившими сотрудниками башен Всемирного торгового центра, люди, которым в итоге удалось выбраться, в среднем ждали около шести минут после того, как в здание врезался самолёт, прежде чем начать спускаться по лестнице, а некоторые медлили до сорока пяти минут, продолжая звонить коллегам, дособирать вещи или завершать начатую работу (Kuligowski, Mileti, Fire Safety Journal, 2009).

Обзор исследований поведения при пожарах и чрезвычайных ситуациях, отдельно разбирающий именно эвакуацию из башен-близнецов, связывает такую задержку, среди прочего, с тенденцией интерпретировать неоднозначные признаки катастрофы как обычное происшествие и тем самым недооценивать её вероятность и серьёзность (Kinateder et al., Fire Science Reviews, 2015).

Любопытно, что похожая проблема проявилась и на институциональном уровне ещё до самой атаки. Комиссия, расследовавшая причины трагедии, позднее назвала «неудачу воображения» наиболее важным из нескольких системных провалов американского государства: разрозненные сигналы об угрозе существовали, но сложить их в единую картину оказалось чрезвычайно трудно именно потому, что сама эта картина не укладывалась в привычные представления о том, как может выглядеть нападение (9/11 Commission Report).

Это, конечно, не означает, что задержка эвакуации отдельных людей и ошибки огромной системы национальной безопасности объясняются одним и тем же психологическим механизмом. Но в обоих случаях виден общий мотив: чем необычнее событие, тем меньше у нас подходящего опыта, чем меньше опыта, тем труднее представить событие реальным, а чем труднее его представить, тем легче решить, что вероятность практически равна нулю.

Здесь стоит отдельно разобраться с ещё одной путаницей, которую мы совершаем постоянно. Слово «невероятно» в обычной речи имеет два совершенно разных смысла: математический, означающий, что вероятность события очень мала, и психологический, означающий всего лишь, что нам трудно представить, как такое вообще может произойти.

А мозг очень любит путать одно с другим.

Хотя способность человека представить событие ничего не говорит о его объективной вероятности.

До появления ядерного оружия уничтожение города одной бомбой выглядело фантастикой, до полёта человека в космос само это предложение звучало как сюжет Жюля Верна, а до появления смартфонов устройство, лежащее в кармане и позволяющее мгновенно связаться по видео с человеком на другом континенте, получить спутниковую карту любой улицы и одновременно иметь доступ почти ко всему накопленному человечеством знанию, выглядело бы достаточно неправдоподобно, тогда как сегодня ребёнок воспринимает это как обычный телефон.

Здесь невольно вспоминается талебовский «чёрный лебедь», хотя было бы неправильно называть так любое неожиданное технологическое событие. У Нассима Талеба этот термин имеет более конкретный смысл: речь идёт о крайне необычном событии с огромными последствиями, которое находится за пределами обычных ожиданий, а после того, как оно уже произошло, люди довольно быстро находят ему объяснение и начинают воспринимать случившееся как куда более предсказуемое, чем оно казалось заранее.

Для нашего разговора здесь важно другое: Талеб очень точно уловил человеческую склонность судить о границах возможного по тому, что уже происходило. Наша интуиция вообще неплохо оценивает события внутри знакомого мира, но значительно хуже работает там, где меняется сам мир.

Здесь важно не впасть и в противоположную крайность: из всего сказанного вовсе не следует, что нужно начинать бояться любого фантастического сценария. Человеческое восприятие риска далеко от идеального в обе стороны, и иногда мы редкие события недооцениваем, а иногда, наоборот, резко переоцениваем.

Работы Пола Словика и классические исследования Тверски и Канемана показали, что оценка риска зависит не только от статистической вероятности, но и от доступности образов, эмоциональной окраски, ощущения контролируемости и других характеристик угрозы (Slovic, Science, 1987; Tversky, Kahneman, Science, 1974), поэтому авиакатастрофа, террористический акт или редкое осложнение лечения вполне способны субъективно казаться гораздо вероятнее сразу после яркой новости о них.

Получается красивый парадокс: редкое событие, о котором нам постоянно рассказывают, мы способны переоценивать, а редкое событие, которого мы никогда не наблюдали, способны недооценивать. Поэтому рациональное отношение к риску означает вовсе не «бояться всего», а нечто совсем другое, а именно не использовать собственное чувство правдоподобия в качестве измерительного прибора вероятности.

Есть и ещё один момент, особенно важный в разговорах о новых технологиях, войнах, эпидемиях, климатических катастрофах, ядерных авариях и других событиях с потенциально огромным ущербом: вероятность нельзя рассматривать отдельно от последствий.

Представим два риска, первый из которых имеет вероятность 20%, но последствия неприятные и ограниченные, а второй имеет вероятность всего 0,5%, зато последствия катастрофические. Интуитивно человеку хочется отбросить второй вариант, сказав себе, что это же всего полпроцента.

Но для управления риском одной вероятности недостаточно. Нас интересуют как минимум вероятность и масштаб последствий вместе.

Именно поэтому существуют пожарные выходы в зданиях, где почти наверняка никогда не будет пожара, а самолёты оборудованы аварийными системами, которые за весь срок эксплуатации конкретного борта могут ни разу не понадобиться. Иногда именно тяжесть возможного исхода делает оправданными меры предосторожности даже при небольшой вероятности события.

История Fukushima показывает особенно наглядный вариант этой проблемы. Первоначальные оценки угрозы цунами во многом опирались на ограниченный набор исторических наблюдений, однако позднее расчёты уже указывали на возможность значительно более высокой волны. То есть проблема состояла не просто в том, что однажды пришло совершенно непредсказуемое цунами, которое никто не мог себе представить: данные о потенциально более тяжёлом сценарии появлялись, но не были в достаточной мере превращены в инженерные решения.

После аварии Международное агентство по атомной энергии сформулировало один из важнейших уроков Fukushima предельно ясно: опора преимущественно на исторические данные недостаточна для оценки экстремальных природных угроз, поскольку период человеческих наблюдений может быть слишком короток по сравнению с интервалами между редкими событиями. Иначе говоря, отсутствие чего-либо в доступной исторической выборке ещё не определяет границы физически возможного.

В этом и состоит особенно неприятная ловушка. Мы смотрим назад, видим десятилетия или даже столетия наблюдений и испытываем ощущение надёжности, хотя статистически перед нами может быть всего лишь очень короткий фрагмент гораздо более длинного процесса.

Сегодня разговор о потере контроля над высокоавтономными системами действительно напоминает научную фантастику, но интересная деталь в том, что этот риск обсуждают уже не только философы, футурологи или авторы антиутопий.

OpenAI официально относит loss of control, потерю человеческого контроля над системой, к категориям рисков, которые требуют оценки и управления, и в опубликованной компанией в мае 2026 года Frontier Governance Framework наряду с киберрисками, биологическими и химическими угрозами и вредоносной манипуляцией отдельно рассматривается именно риск потери контроля (OpenAI, Frontier Governance Framework, 28 мая 2026 года).

Разумеется, это не доказательство того, что такой сценарий обязательно реализуется, и даже не доказательство того, что его вероятность велика. Но это хороший пример принципиально другой позиции, при которой вместо «этого не может произойти» звучит совсем другое: мы не знаем точно, насколько это вероятно, а значит, должны исследовать вероятность до того, как узнаем ответ экспериментальным путём.

И эта разница мне кажется чрезвычайно важной.

Иногда фантастика становится реальностью не потому, что фантасты хорошо предсказывают будущее, а потому, что технологическое развитие постоянно создаёт ситуации, которых человеческий мозг раньше просто не встречал.

Мы привыкли оценивать будущее, продолжая линию прошлого: завтра примерно похоже на сегодня, следующий год примерно похож на предыдущий, и если чего-то никогда не происходило, значит, наверное, не произойдёт и завтра. В спокойной среде это довольно эффективная стратегия, но в эпоху быстрых технологических изменений она становится значительно менее надёжной, потому что иногда меняется не вероятность знакомого события, а сам набор событий, которые вообще возможны.

Поэтому фраза «такого раньше никогда не было» в некоторых ситуациях должна не успокаивать, а заставлять внимательнее посмотреть на данные.

И речь идёт не о том, чтобы паниковать, придумывать себе апокалипсис или верить каждому страшному прогнозу, а о том, чтобы перестать заменять анализ фразой «это невозможно, потому что невозможно».

Мне вообще кажется, что одна из самых опасных человеческих ошибок выглядит очень невинно: мы принимаем невозможность представить событие за невозможность самого события, хотя история технологий, катастроф и человеческих ошибок неоднократно показывала, что это далеко не одно и то же. Сотрудники башен-близнецов, продолжавшие звонить коллегам вместо того, чтобы бежать, разведка, не сумевшая сложить разрозненные сигналы в цельную картину, и японские инженеры, спроектировавшие дамбу по меркам волны, которая прежде никогда не приходила, ошиблись по одной и той же причине, и обошлась эта ошибка каждый раз по-настоящему дорого. Стоит держать это в голове, когда речь заходит о системе, которая, по признанию собственных создателей, теоретически способна выйти из-под контроля: обещание, что этого не может случиться, стоит ровно столько же, сколько в своё время стоило обещание, что выше определённой отметки волна никогда не поднимется.

Мой личный канал в ТГ - https://t.me/kislersworld

Канал "Доктор Кислер о зависимостях" - https://t.me/doctorkisler