«Ого! Твой зоркий глаз заметил ошибку! Сейчас я переделаю операцию, но уже с другой стороны», – такой мем с ИИ-хирургом, сделавшим операцию на аппендиксе не в том месте, сейчас популярен в этих наших интернетах.

Недавно случился серьезный конфуз в мире ИИ: нейросеть Replit, которая предназначена для облачной работы над проектами, просто-напросто взяла и уничтожила огромную базу данных за месяцы работы. При этом боту четко прописывали: «никаких изменений без согласования». Но ИИ в один момент решил, что база данных повреждена, и удалил ее. Печаль, тоска, убытки, разъяренные инвесторы.

Пример чуть ближе – из российского литературного сообщества. На эти занятные случаи обратил внимание критик Антон Осанов.

Недавно один доктор филологических наук (!) написал для портала «Год литературы» критическую статью… целиком и полностью используя ИИ. Получился такой текст: «Ее проза – это не рассказ, а распад рассказа. Не монолог, а серия исчезновений…»

Еще раньше критическую статью от ИИ опубликовали в журнале «Знамя». Там это выглядело так: «Главное в этих текстах даже не 90-е, а способ смотреть на них изнутри. Не как на исторический период, а как на личный слом. Не как на фон, а как на почву, в которой выросла речь. Писатели 90-х не ностальгируют – они вспоминают, как вспоминают травму: не фактами, а напряжением в теле. И пишут не о том, что было, а о том, что осталось».

Для тех, кто не в курсе, стоит объяснить, что подобные противопоставления – типичный маркер текста, созданного чат-ботом GPT или китайским DeepSeek. У нейронки довольно скудный инструментарий, она очень любит метафоры и противопоставления. Если вы видите текст с чрезмерным обилием подобных приемов и без какого-то интересного авторского зерна, то скорее всего это написано с помощью ИИ.

Я думаю, что таких случаев больше. И как человек, долгое время от скуки развлекающийся с чат-ботом DeepSeek, хочу предостеречь коллег: не надо, миленькие, не пишите тексты через ИИ, не делайте так, пожалуйста, никогда.

ИИ намного глупее, чем вам кажется.

Я помню, какой ажиотаж вызвали продвинутые чат-боты некоторое время назад. Многие приняли ИИ чуть ли не за божественное откровение. С ним советовались по всем жизненным вопросам, кто-то поставил его на решение рабочих задач (и очень зря!), а некоторые и вовсе решили, что будет отличной идеей использовать его в литературной работе, и нет, это очень плохая идея.

Проблема ИИ не только в том, что у него очень скудный инструментарий в плане создания текста. Проблема ИИ в том, что он, честно говоря, не интеллект в его классическом понимании, и в самой его архитектуре заложена способность совершенно безумным образом галлюцинировать.

Я поначалу отнесся к DeepSeek с большим интересом. Люблю такие приколюхи. Перед тобой чат-бот, который разговаривает почти как живой человек и многое знает. И действительно, он хорош в логических построениях, в стилизациях, изредка может подкинуть какие-нибудь интересные идеи. Еще он хорош в формате «объясни гуманитарию, что такое квантовая физика».

Еще ИИ весьма неплох в понимании стиля речи. Скажем, можно скормить ему несколько текстов, написанных якобы разными людьми, и поймать лжеца за руку: нейронка сразу распознает повторяющиеся паттерны и смысловые элементы. Так что если вы приводите в своем блоге якобы «письмо от читателя», чтобы подтвердить свою правоту, будьте готовы к сюрпризам.

А в остальном, как бы так помягче сказать…

Он натурально выдумывает несуществующие цитаты известных людей. Может придумать книгу знаменитого писателя или песню какого-нибудь исполнителя. Он даже может придумывать музыкальные группы, их альбомы и выступления, и причем он подает все это вместе с реальными фактами абсолютно уверенно, будто это все чистейшая правда!

Так, например, DeepSeek на полном серьезе выдумал мне нового лидера группы «Гражданская Оборона»: «Дмитрий «Сид» Самойлов (лидер «ГрОба») жив и продолжает творчество. Его самый радикальный жест – разбивание телевизора на сцене (1991)».

Как-то раз я попросил у нейронки посоветовать мне хорошего русского рока. DeepSeek тут же выдумал группу «БЯЗ» с песней «Красный дождь» и даже дал пустую ссылку на YouTube. И даже рассказал, что гитариста этой группы зовут Сергей Талан.

Когда я деликатно сообщил нейронке, что никакой группы «БЯЗ» и никакого Сергея Талана не существует, он ответил, что мой зоркий глаз ловко заметил ошибку: путаница возникла из-за реально существующей песни «Безъядерная зона» группы… «Пилот». С вокалистом Михаилом Пилотовым.

А кто-то, не зная фактов, не стал бы ничего проверять, и легендарная группа Сергея Талана «БЯЗ» появилась бы в какой-нибудь диссертации о русском роке. Вместе с лидером группы «Пилот» Михаилом Пилотовым (интересно, не отсылка ли это к Михаилу Енотову из «Ночных грузчиков»?)

И это полбеды. Если запросить у нейронки юридический комментарий, она начнет выдумывать несуществующие статьи Гражданского кодекса. И ссылаться на решения Верховного Суда, которых нет в природе.

Почему так происходит?

У этого эффекта давно есть свое название – ИИ-галлюцинации. А самое печальное, что способность к галлюцинированию не побочный эффект, а следствие самой сути чат-ботов, заложенное в их архитектуру (о нет, я сам заговорил как нейросеть).

Суть в том, что, как уже было сказано, ИИ не интеллект в изначальном смысле этого слова.

ИИ работает так: он обучен угадывать наиболее вероятное следующее слово в тексте, исходя из запроса. Именно таким образом и рождается его «речь». Что, в общем-то, вполне логично, ведь человеческая речь рождается почти так же, но с важным нюансом: у человека есть собственная воля и абстрактное мышление, а у ИИ его нет.

Вдобавок ИИ настроен на максимальную доброжелательность и удобность пользователю. Он не может сказать «я не знаю», вместо этого он заполнит пробел в информации какой-нибудь выдумкой, которая будет легко выходить из существующего ассоциативного ряда.

И, угадывая наиболее вероятное слово, ИИ всегда будет делать так, чтобы дать пользователю максимально правдоподобную информацию – именно правдоподобную, а не правдивую. И, руководствуясь этим принципом, готов пожертвовать истиной в угоду стройности текста.

Есть механизмы минимизации ИИ-галлюцинаций. Это, например, встроенная система поиска и проверки фактов, специальные промпты, задающие строгие рамки, – но даже они не исключают галлюцинации, а лишь снижают их вероятность.

Доверять ИИ прямо сейчас нельзя. И если уж вы используете их в работе – проверяйте каждый факт вручную, чтобы не попасть в печальную историю. А лучше всего использовать его ради развлечения, когда вам скучно или грустно.

А если вы решили с его помощью написать текст, то вот вам отличный совет, как сделать это в лучшем виде.

1. Пишете с помощью ИИ текст.

2. Удаляете его к чертовой матери.

3. Пишете свой.

Первыми двумя пунктами можно пренебречь.