Привет.
Человеческая природа неизменна, мы обожаем новые технологии, любим, когда они позволяют нам лениться. Нейросети одним махом решают множество задач. Неоднократно встречал мнение, что подписка на ChatGPT делает человека умнее. Ничуть не иронизирую, дословно слышал именно такую формулировку, причем от не знакомых между собой людей. Раньше наличие iPhone в руках делало тебя успешным в этом мире, теперь добавился еще один признак – использование нейросетей для разных бытовых задач.
Назвать меня агностиком новых технологий невозможно, в силу моей работы мне свойствен здоровый консерватизм и скептицизм, основанный на предыдущем опыте. Когда мне начинают рассказывать об ошеломляющих результатах, которые показывает та или иная модель нейросети, я искренне радуюсь, что когда-то в будущем они станут крайне полезными. Пока же мы все живем в парадоксе выжившего, превознося отличные результаты, которые показывают нейросети, и забывая о неудачных попытках.
Обратите внимание, при каждом общении с нейросетью, например, в чат-боте, вам пишут, что ответы могут быть неверными, просят их проверить. Но мы смело игнорируем такие предупреждения. Удобство чат-ботов несомненно, информация предоставляется не в виде ссылок, а как размышления, которые нам понятны и экономят время.
Создатели нейросетей постоянно бравируют разными цифрами, создается обманчивое впечатление, что последние хорошо справляются со многими задачами, уже способны заменить людей. В последний год в США даже прокатилась волна увольнений, когда людей заменяли алгоритмами. Спустя полгода-год использования нейросетей выяснилось очевидное: алгоритмы работают значительно хуже и наносят компаниям непоправимый ущерб. Весы качнулись в обратную сторону, теперь предпринимаются попытки нивелировать ущерб от нейросетей и нанять обратно людей, которых ранее посчитали не такими эффективными. Очарование постепенно проходит, нейросети теперь не выступают угрозой человечеству, вырисовывается инструмент, который может быть очень полезным, но при этом крайне дорогим. И вопрос не в подписке на тот же ChatGPT или иную модель, а в том, что мало-мальски серьезные задачи требуют такое количество токенов, что позволить себе их обыватель не может. Равно как и в компаниях скоро начнут ограничивать своих сотрудников в том, на что они могут потратить свои токены.
Восстание калькуляторов на время отменено, но многие продолжают жить в заколдованном состоянии, когда нейросети решают за них повседневные задачи и делают это на первый взгляд эффективно. Вот только расплата за такую доверчивость может быть очень высокой.
В Рунете разлетелось видео, на котором молодой человек идет по некому аэропорту на фоне людей и говорит:
«Это просто какой-то сюр межгалактического масштаба. Мы в аэропорту Стамбула, вон моя семья, которая проснулась сегодня в шесть утра, не завтракала, приехали сюда. Вчера мы купили билеты в Македонию, ChatGPT говорит нам это, что виза для россиян в Северную Македонию не требуется. Ну, мы на уверенных щах, конечно же, купили билеты, отстояли дичайшую очередь, подходим к стойке, даем паспорта. А нам говорят — виза. Мы такие: не-не-не. Виза не нужна. А нам говорят — нужна. Не, не нужна. И показываем скриншот ChatGPT, там написано: для россиян виза не нужна.
А нам показывают государственное постановление, что для россиян обязательна виза, которая оформляется за пять дней. А мы прямо сейчас в аэропорту, у нас куплено все, забронирована машина, отели. Вот такие вот пироги».
Попробовал поиск от Google (AI Overview). Результат верный, виза нужна.
Ладно, тут история, в которой человек на своем собственном кошельке убедился в том, что нейросети нужно проверять. Ребенок и супруга тоже получили прививку от слепого доверия высоким технологиям. Но сколько людей продолжает верить в безгрешность нейросетей, причем даже отдаленно не понимая, как они устроены и что умеют.
Например, крайне популярным стал поиск AI Overviews от Google, когда вы не просто видите ссылки, а вам дается краткая выжимка искомого. Чертовски удобно, нет необходимости ходить по ссылкам. Вот только, в отличие от ссылок, где мы сами читали тексты и искали информацию, теперь перед нами синтез разных источников. И чем больше среди них неточных, тем чаще мы получаем неверный ответ. В недавнем исследовании, опубликованном в New York Times, стартап Oumi проанализировал эффективность AI Overviews, и оказалось, что погрешность этого инструмента – около 10%. То есть каждый десятый ответ неверный!
Много это или мало и насколько серьезной может быть такая ошибка? Журналисты всего мира копаются в поисковых запросах, постоянно наталкиваются на неточности, иногда это выливается в расследования, которые должны предостеречь. Например, в газете The Guardian на примерах показали неточность в информации от Google, в качестве примера привели данные об анализах крови в печени. Стандартный и самый массовый вопрос звучал просто: каков нормальный диапазон показателей в таком анализе крови? В Google алгоритм выдавал цифры, не уточняя, что они напрямую зависят от возраста, пола, веса и других параметров. То есть этот ответ мог навредить людям. Причем обратите внимание, что в каждой стране используются свои источники информации, они сильно разнятся от страны к стране. В России выдается вот такой результат. Поиск в США дает совсем иные результаты и источники.
Одно из свежих исследований проведено журналистами BBC в конце прошлого года, оно показало, что почти в половине случаев языковые модели не могли дать корректный ответ на простые вопросы, например, сказать кто сейчас папа римский. Найти описание исследования можно вот тут.
В среднем можно принять за данность то, что качество ответов довольно низкое, оно напрямую зависит от используемых источников информации. Интернет закрывается от нейросетей, крупные газеты и медиа не позволяют использовать свой контент для тренировки нейросетей, что обедняет последние. Мусор на входе означает мусор на выходе. И то, что многие модели начинают галлюцинировать, не секрет, так как у них полный раскардаш в части изначальной информации, она неточна и неверна. Отсюда различные тренеры, которые помогают натаскивать нейросети, проверяют их ответы и качество последних. Без человеческого труда нейросети существовать не могут, причем труд людей оплачивается по самым низким расценкам, так как иначе не складывается экономика.
Недавний пример: тестирую ИИ-наушники «Яндекс Дропс», так их величают в компании, помощник, который всегда рядом с вами и позволяет узнавать все о мире. В Москве ожидались грозы, вышел на улицу – ни облачка, шпарит солнце. В зависимости от того, когда пойдет дождь, можно было спланировать свои дела – либо походить, либо заехать в магазины. Спросил Алису, в ответ получил: «Дождь уже идет».
Ощутили мощь нейросети? Солнце светит вовсю, под тридцать градусов и ни капли дождя. Переспрашивал по-всякому, результат ровно тот же, Алиса настаивала, что дождь идет, будет идти и не закончится до вечера.
Понятно, что у «Яндекса» просто нет адекватных данных по погоде, как результат, любые прогнозы выглядят притянутыми за уши. Видимо, тут та самая вероятность в 50%: либо дождь пойдет, либо нет. Но для меня это некомфортный вариант, который заставляет пользоваться другими прогнозами погоды, не доверять той же Алисе, она почти всегда неточна в этом аспекте.
Проблема тут в том, что распознать неточности мы можем только в самых анекдотических случаях, когда нет никаких сомнений в правильном ответе.
Вот такой неправильный ответ давала Алиса когда-то, после чего его поправили ручками. И это обыденная ситуация для всех компаний на рынке, тот же «Яндекс» тут не исключение. Нейросети ошибаются, причем процент ошибок растет по мере усложнения материала. Хотя часто они находят нетривиальные варианты решения проблем, такие алгоритмы, которые не приходят на ум человеку.
Защищал Алису и ее ошибочные ответы в «Бирюльках», почитайте текст по ссылке.
Наш читатель прислал другую историю, он воспользовался китайским DeepSeek и наткнулся на любопытную галлюцинацию, нейросеть в июне 2026 года считала, что на рынке не существует Galaxy S26 Ultra. Почитайте этот диалог с нейросетью.
Тоже самоочевидная ошибка нейросети, связанная с временным отсутствием поиска в Интернете, использовались локальные базы, на момент их создания модели на рынке и правда не было. Понимание этого примиряет с ошибкой, которая нам так явно продемонстрирована.
Нейросети – это удобный инструмент, но вовсе не истина в последней инстанции, за ними нужен глаз да глаз, иначе есть вероятность того, что вы промахнетесь и попадете впросак. Слепо доверять нейросетям точно не стоит, в лучшем случае вы потеряете время. Иногда люди начинают верить в то, что общаются не с алгоритмом, а с разумным существом, как результат, у них начинаются серьезные психологические проблемы. Этого точно стоит избегать, так как ничего хорошего из таких историй не выходит.
Главный вывод прост. Проверяйте все, что вам выдают нейросети, будьте аккуратны с информацией, а когда она касается серьезных вещей, многократно перепроверяйте или все-таки доверяйте профессионалам.