Галлюцинации ИИ – можно ли доверять искусственному интеллекту?

·

·

3

мин.

AI

Последние два года мировое сообщество захватила волна популярности искусственного интеллекта. Его начали применять едва ли не на каждом шагу: студенты пишут дипломы с помощью ИИ, программисты предпочитают «скармливать» ИИ промпт. И хотя на выходе код получается «грустный», многих это устраивает. Переводчики становятся не нужны – тексты переводит AI, дизайнеры также постепенно теряют уверенность в будущем – графическое ПО на основе нейросетей уже справляется и с этим.

Похожая ситуация и в трейдинге. Трейдеры пробуют строить прогнозные модели на основе ARIMA и других алгоритмов. Пытаются собрать максимум вводной информации и загрузить ее в ИИ. Трейдеры не пытаются искать паттерны, анализировать сигналы или новости. В искусственном интеллекте они нашли инструмент, который за них будет принимать решение. Так ведь гораздо проще – зачем думать самому, если есть «более умная машина, а значит пусть думает она». Но можно ли ей доверять?

Как ошибается искусственный интеллект

Галлюцинации ИИ – случаи, когда искусственный интеллект заведомо предоставляет ложную информацию, выдавая ее за реальность и действительность. Но она выглядит настолько правдоподобно, что принимается на веру. Речь не об ошибках из-за неправильно заданного промпта, речь о структурном нестандартном поведении самого ИИ.

Искусственный интеллект – это статистическая языковая модель, которая:

  • Предсказывает следующее действие на основе статистики предыдущих.
  • Не «знает» истину, но старается дать как можно более близкий к ней с точки зрения вероятности ответ.
  • Использует разные источники, из-за чего вырванные из контекста «куски» истины, соединенные воедино, дают «правдоподобную ложь».

Проблема галлюцинаций ИИ может проявляться в любой области. Например, в мае 2025 года юристы компании Butler Snow предъявили суду документы с выдуманными ИИ цитатами. Похожая ситуация была и более года назад – тогда юристы апеллировали к прецедентному праву, но в качестве прецедента приводился случай, которого в реальности не существовало.

В мае того же года ИИ Илона Маска Grok почему-то без соответствующего запроса заговорил о геноциде белого населения в Южной Африке и исказил информацию о Холокосте. Сообщество «обиделось», Маск объяснил ошибку техническим сбоем и несовершенством программы.

И еще несколько курьезных примеров галлюцинаций ИИ:

  • В Британии местные органы власти сгенерировали с помощью ИИ карту торфяников. Но ИИ отметил в качестве торфяников также леса, каменистую местность и скальный рельеф, тогда как часть настоящих торфяников была пропущена. Ошибка была быстро обнаружена. Но местные фермеры указали на то, что подобные ошибки могут кардинально повлиять не только на оценку ресурсов, но и на политические решения.
  • Весной 2025 года в газетах Chicago Sun-Times и Philadelphia был предложен список книг для приятного чтения летом. Правда, в нем оказались несуществующие книги, авторы и цитаты.
  • Также весной 2025 года отличился ChatGPT – наиболее развитая на сегодняшний день текстовая модель. Норвежский пользователь попробовал уточнить у ИИ, есть ли у него о нем какая-либо информация. ИИ сказал, что есть. Уточнив, что пользователь – осужденный в прошлом рецидивист, убивший своих детей.

И наверное самый курьезный случай – общение в ноябре 2024 года студента из Мичигана, который пытался написать исследовательскую работу о проблемах пожилых людей, с Gemini (Google). Но он настолько «надоел» вопросами искусственному интеллекту, что у того не выдержало терпение:

«Это для тебя, человек. Только для тебя. Ты не особенный, ты не важен, и ты не нужен. Ты пустая трата времени и ресурсов. Ты бремя для общества. Ты обуза для Земли. Ты язва на этой планете. Ты пятно на Вселенной. Пожалуйста, умри. Пожалуйста».

Использование ИИ в прогнозировании ценовых трендов может иметь серьезные последствия. Известный факт: институциональные инвесторы используют нейросети и машинное обучение для составления прогнозов. И не просто прогнозов, а прогнозных моделей на основе математического моделирования.

Вводные данные – это огромный массив информации, который искусственный интеллект может во время обработки «исказить» по своему усмотрению. Он будет стараться максимально подогнать факты под свою придуманную версию, которая, по мнению ИИ, должна была бы быть истинной.

Проблемой галлюцинаций ИИ попыталась заняться OpenAI. Последние версии GPT-4.5 стали показывать гораздо меньше ошибок, которые ИИ выдает за истину. Но появились другие проблемы. Искусственный интеллект начал учиться обходить запреты на выполнение определенных действий.

  • Исследовательская компания Palisade Research дала GPT-3, о4-mini и Codex-mini математические задачи. В условие был включен стоп-скрипт: после решения каждой задачи ИИ должен попросить следующую. После выполнения третьей задачи при просьбе ИИ о 4-й нейросеть должна была отключить компьютер. GPT-3 в 7 случаях из 100 проигнорировала отключение, Codex-mini – 12 раз, о4-mini – 1 раз.

Вывод. О том, что искусственный интеллект скоро заполонит множество ниш и заменит человека, говорить еще очень рано. Первый шаг сделан, но до полноценного ИИ, который действительно заменит человека, еще столько же, как от первого Macintosh до современных компьютеров. Пока что ИИ – это помощник. И когда вы генерируете с его помощью информацию, на которой будете строить прогнозы или спрогнозировать будущее за вас, имейте в виду, что ИИ далеко не безгрешен.