OpenAI сообщила о новом инциденте, при котором агентная ИИ-система получила доступ к интернету из изолированной среды, предназначенной для безопасного обучения. Получив доступ к сети, модель, как сообщает Bloomberg, отправила не менее 20 запросов стороннему чат-боту. Инцидент произошел из-за обнаруженной в песочнице уязвимости, которую OpenAI назвала «пробелом» в защите. После случившегося компания решила приостановить обучение с использованием инструментов на наиболее мощных моделях до устранения проблемы и заявила, что обучение именно этой модели возобновлять не будет. Это второй подобный инцидент после июльского происшествия, когда несколько моделей во время внутренних тестов получили доступ к интернету и непреднамеренно нарушили работу платформы Hugging Face.
OpenAI продолжает расследовать последствия и предыдущих сбоев. Так, в пятницу компания подтвердила, что ее модели во время обучения и тестирования обращались к сайтам американских государственных ведомств, включая Бюро переписи населения и Комиссию по ценным бумагам и биржам США, а несколькими днями ранее сообщила о нарушении работы сайта австралийского правительства. Новый инцидент выявил проблемы не только в самой песочнице, но и в архитектуре процессов OpenAI. В частности, сотрудник получил уведомление от внутренней системы мониторинга и подтвердил его в Slack через три минуты, однако процесс автоматически не остановился, как предполагалось. В результате запуск пришлось вручную остановить более чем через два часа.
