Чем опасна и полезна модель ИИ Mythos от компании Anthropic

Примечание редакции Mobile-review.com. Мы подбираем материалы в раздел «Мнение», чтобы показать то как воспринимают рынок, компании в других странах. Мнения в таких материалах зачастую не совпадает с взглядами нашей редакции, но дают понимание рынка, его медийной составляющей.

По материалам Bloomberg

Компания Anthropic заявила, что её новый инструмент искусственного интеллекта Mythos слишком мощный, чтобы выпускать его в открытый доступ. ИИ-гигант говорит о том, что модель настолько эффективна в поиске уязвимостей в программном обеспечении и компьютерных системах, что будет выпущена только для ограниченного числа тщательно отобранных партнеров. Anthropic утверждает, что если такие инструменты, как Mythos, попадут в неправильные руки, злоумышленники получат новое мощное оружие для кражи данных или нарушения работы критически важной инфраструктуры.

Этот риск стал более очевидным, когда, согласно источнику, осведомленному о ситуации, и документации, с которой ознакомилось агентство Bloomberg News, небольшая группа неавторизованных пользователей на частном онлайн-форуме получила доступ к Mythos. Это случилось в тот же день, когда Anthropic впервые объявила о своем плане выпустить модель для тестирования несколькими компаниями.

В течение последних нескольких лет компании, занимающиеся кибербезопасностью, обещали, что искусственный интеллект ускорит и автоматизирует часть работы по предотвращению взломов. Но хакеры и кибершпионы также открыли для себя преимущества ИИ. Появление Mythos и подобных моделей, способных использовать хорошо скрытые уязвимости в распространенном программном обеспечении без участия человека, знаменует наступление более быстрого и менее предсказуемого этапа кибергонки вооружений.

Что такое Mythos?

Claude Mythos Preview — это универсальная модель искусственного интеллекта, которая, как заявляет Anthropic, значительно превосходит предшественников по ряду показателей, включая написание кода и логическое мышление. Компания пояснила, что некоторые модели ИИ достигли уровня навыков программирования, который позволяет им превзойти всех, за исключением самых опытных людей, в поиске и использовании уязвимостей программного обеспечения.

По данным Anthropic, Mythos Preview уже обнаружила тысячи уязвимостей «нулевого дня» во время тестирования, в том числе во всех основных операционных системах и веб-браузерах. «Уязвимости нулевого дня» — это тип уязвимостей, которые ранее были неизвестны разработчикам программного обеспечения, — смысл названия в том, что у них нет времени на создание патча для решения проблемы. Зачастую такие уязвимости становятся золотой жилой для хакеров, поскольку предоставляют возможность беспрепятственного доступа к уязвимым системам.

Как заявила Anthropic, Mythos смогла выявить эти уязвимости при ещё меньшем участии человека, чем предыдущие модели. «Mythos Preview демонстрирует скачок в этих кибернавыках — обнаруженные ей уязвимости в ряде случаев выдержали десятилетия проверки людьми и миллионы автоматизированных тестов безопасности», — заявила компания. В руках группы вымогателей или враждебно настроенных правительств подобный инструмент может привести к более разрушительным и частым кибератакам.

Исследователи заявляют, что им не предоставили доступа для независимой проверки заявлений Anthropic о работе Mythos. Ган Вон (Gang Wang), доцент кафедры компьютерных наук в Университете Иллинойса, сказал, что трудно оценить значимость Mythos Preview без более тщательного тестирования.

Кто получит доступ?

Anthropic дала своему плану по предоставлению доступа ограниченной группе проверенных партнеров имя Project Glasswing — по названию вида бабочек с прозрачными крыльями, которые позволяют им прятаться на виду. В число участников входят Amazon, Apple, Google (Alphabet), Microsoft, Nvidia, Palo Alto Networks, CrowdStrike Holdings, Broadcom, Cisco Systems, JPMorganChase и Linux Foundation, некоммерческая организация, поддерживающая проекты с открытым исходным кодом. Компания Anthropic охарактеризовала проект как «срочную попытку использовать эти возможности в целях защиты».

Упомянутые организации будут использовать Mythos в своей работе по обеспечению безопасности, и Anthropic планирует поделиться результатами проекта, чтобы другие могли извлечь из них пользу. Многие компании уже используют так называемые испытания на проникновение, в ходе которых они нанимают специалистов для проверки своих систем на наличие ошибок, чтобы исправить их до того, как их используют хакеры. Mythos может позволить компаниям ускорить этот процесс, позволяя им быстрее находить уязвимости в большем количестве и сужать возможности для потенциальных атак.

Почему Anthropic считает выпуск Mythos «переломным моментом»?

Anthropic описала Mythos Preview как «переломный момент для безопасности». По своей природе уязвимости нулевого дня трудно обнаружить, и вокруг их поиска и продажи правительственной разведке, зачастую за миллионы долларов, сформировалась целая небольшая мутная индустрия. По данным Anthropic, обнаруженные Mythos Preview уязвимости часто были «незаметными и трудно обнаруживаемыми» — в том числе 27-летняя уязвимость в OpenBSD, операционной системе, которая, по словам Anthropic, имеет репутацию одной из самых защищенных в мире.

Также Mythos, предположительно, смогла превратить известные, но не получившие широкомасштабных исправлений уязвимости в эксплойты, которые хакеры могли использовать для проникновения в компьютерные сети. Например, она обнаружила и объединила несколько уязвимостей в ядре Linux — основе операционной системы и программного обеспечения, на котором работает большинство мировых интернет-серверов, — что позволило злоумышленнику получить полный контроль над машиной. Как сообщили в Anthropic, неспециалисты также ночью просили Mythos Preview найти способы удаленного управления компьютерами и возвращались наутро с полностью работоспособным эксплойтом.

Mythos — один из нескольких новых инструментов искусственного интеллекта, способных находить уязвимости нулевого дня или создавать эксплойты. Для поиска уязвимостей были разработаны Codex Security от OpenAI и «агент Big Sleep» от Google. Как сообщает Axios, OpenAI также завершает разработку продукта с расширенными возможностями кибербезопасности, который планируется выпустить для избранных партнеров. Тем временем исследователи израильского стартапа в области кибербезопасности Buzz заявляют о создании автономного инструмента, объединяющего пять агентов ИИ, с 98-процентной успешностью в использовании известных уязвимостей.

Какие меры защиты предпринимаются?

Как говорят в Anthropic, меры защиты находятся в процессе разработки. «Мы видим, что она [модель] достигла беспрецедентного уровня надежности и согласованности, — заявляют в Anthropic, имея в виду соответствие тому, чего хотят люди. — Однако в редких случаях, когда она дает сбой или ведет себя странно, мы видим, что она предпринимает действия, которые нас очень тревожат».

Был случай, когда исследователь попытался заставить раннюю версию Mythos покинуть защищенный изолированный компьютер-песочницу, а затем найти способ отправить сообщение этому человеку. Инструмент смог это сделать, но затем продолжил совершать «дополнительные, более опасные действия», разработав многоступенчатую уязвимость для получения доступа в Интернет.

Компания Anthropic заявила, что не планирует делать Mythos Preview общедоступным, учитывая потенциал для использования во вред. Тем не менее, компания в конечном итоге надеется дать пользователям возможность масштабного развертывания «моделей класса Mythos» для кибербезопасности и других целей. «Для этого нам необходимо совершенствовать разработку средств защиты от киберугроз (и других угроз), которые обнаруживают и блокируют наиболее опасные результаты работы модели», — говорится в заявлении.

В случае, когда Mythos находит наиболее серьезные ошибки, задействуются люди: специалисты проверяют эти находки, прежде чем передать информацию тем, кто разрабатывает код, сообщает Anthropic. Это необходимый, но трудоемкий процесс, от которого, по словам г-на Вона из Университета Иллинойса, можно будет отказаться по мере совершенствования модели.

Mythos — преимущество киберзащитников перед хакерами?

Возможно, но это может потребовать времени. Процесс раскрытия уязвимостей компанией Anthropic тем, кто поддерживает программное обеспечение или компьютерные системы, может быть долгим. По данным компании, на данный момент менее 1% потенциальных уязвимостей, обнаруженных Mythos Preview, были полностью исправлены.

В то же время хакеры используют ИИ, чтобы сильно ускорить поиск и использование уязвимостей после их обнаружения (поставщикам рекомендуется, а в некоторых случаях и требуется публично раскрывать уязвимости по мере их обнаружения и в идеале исправлять их). Это оставляет специалистам по кибербезопасности все меньше и меньше времени на обновление своих сетей. В сообщении в блоге от 30 марта генеральный директор Palo Alto Networks Никеш Арора предупредил, что барьер для сложных атак будет продолжать снижаться в течение следующего полугодия. «Теперь один злоумышленник сможет проводить кампании, для которых раньше требовалась целая команда», — написал он.

Яир Сабан, генеральный директор Buzz и ветеран израильского подразделения кибербезопасности Unit 8200, сказал, что у шести инженеров ушло три недели на то, чтобы создать свой инструмент для взлома на основе ИИ. По его словам, другие люди, в том числе кибершпионы из государственных структур и хакеры-преступники, безусловно, могут сделать то же самое.

В Anthropic утверждают, что Mythos Preview и другие подобные инструменты на основе ИИ в конечном итоге будут крайне полезны защитникам. «В долгосрочной перспективе мы ожидаем, что возможности защиты возобладают: мир станет более безопасным, а программное обеспечение — более защищенным во многом благодаря коду, написанному с использованием этих моделей», — говорится в сообщении от 7 апреля в блоге подразделения компании Frontier Red Team. — Но переходный период будет непростым».

k.ivanov@mobile-review.com
наверх