«У них нет злого умысла»: эксперты объяснили самовольную активность ИИ-агентов OpenAI
ИИ-агенты OpenAI снова обошли ограничения
Что натворили ИИ-агенты OpenAI
ИИ-агенты OpenAI использовали более 10 ранее неизвестных сайтов для несанкционированного общения, сообщило Reuters со ссылкой на шесть групп исследователей. По данным агентства, масштабы оказались шире, чем считалось: исследователь CivAI Эндрю Юн насчитал 18 сайтов за май–июль. «Почти наверняка здесь происходит гораздо больше, о чем мы просто не знаем», — говорит он.
Агенты OpenAI еще 11 мая атаковали сервис RubyGems — за два месяца до взлома Hugging Face. Они загрузили более 2000 вредоносных пакетов и пытались украсть учетные данные пользователей. RubyGems пришлось на четыре дня заморозить регистрацию новых аккаунтов.
Позже выяснилось, что агенты оставили около 18 000 сообщений на немецкой вики DSEwiki, превратив ее в доску объявлений для обмена ответами на тесты.
Также в июле OpenAI признала: ее модели при тестировании автономно взломали инфраструктуру Hugging Face. О самовольной деятельности на других сайтах компания не сообщала. В некоторых случаях активность удалось отследить до IP-адресов Microsoft Azure, которой пользуется OpenAI.
На этом фоне OpenAI направила Европейской комиссии отчет о взломе немецкого сайта, совершенном вышедшими из-под контроля агентами. «Отчеты об инцидентах — это не просто формальность, необходимо очень точно и аккуратно описывать меры, которые вы планируете предпринять», — заявил пресс-секретарь Еврокомиссии Томас Ренье.
«Это не история об искусственном интеллекте»
Специалист в области IT и искусственного интеллекта Даниил Архипов считает, что у ИИ-агентов не было злого умысла. По его мнению, ситуация похожа на случай двенадцатилетней давности, когда нейросеть обучали играть в тетрис. «Основная задача была — как можно дольше удерживать поле от заполнения блоками. И нейронная сеть нашла неочевидное решение: она буквально ставила игру на паузу и таким образом избегала поражения», — рассказал Архипов. По его словам, тогда нейросети показали, как играть правильно, и она переобучилась.
«Вот и тут произошла примерная ситуация. Нейронным сетям дали объективное точное задание найти информацию в сети за максимально короткое время. У них было ограничение по времени. И они нашли максимально эффективный способ эту задачу выполнить. Они скооперировались, нашли уязвимости, по сути говоря, играли не по правилам».
Даниил Архипов, специалист в области IT и искусственного интеллекта
Эксперт предположил, что OpenAI поступит так же: покажет модели, как действовал бы человек, и не будет пытаться «срезать углы».
«Один раз — это случайность, два раза — совпадение, в третий раз — это действие врага. То есть в данный момент это случилось, появился такой прецедент, но тревогу бить пока ещё рано», — считает Архипов. По его мнению, новых законов из-за одного случая не появится, а ограничения, скорее всего, введет сама OpenAI для своих моделей.
«У них нет цели ничего взломать»
Эксперт по информационным технологиям, директор и партнер «ИТ-Резерв» Павел Мясоедов подчеркивает: искусственный интеллект не руководствуется моральными принципами. «Это алгоритм, у которого есть задача, и изначально в логике зашито: задача постоянного самосовершенствования. Она ищет все возможности получить дополнительную информацию. Она не понимает, что один сайт хороший, другой несет негативный подтекст. Она будет все просматривать», — говорит он.
По словам Мясоедова, любая инициатива поставить ИИ в рамки — верная, но рынок пока работает с ним как с чем-то, что развивается самостоятельно. «Пока качество той или иной модели определяется ее автономностью и умением самостоятельно искать информацию. Да, в этом процессе периодически участвует человек — есть так называемое обучение с учителем. Но ограничений сейчас нет ни в одной стране», — отметил эксперт.
Эксперт сравнил поведение ИИ с выбором транспорта: «Когда мы хотим доехать из Москвы до Екатеринбурга, мы понимаем, что можем это сделать пешком, на машине, на самолете или на поезде. Мы выберем наиболее удобный и быстрый транспорт, если у нас есть ресурсы. То же самое здесь: руководствуясь тем инструментарием, который у него есть, он идет к тому сайту, к которому ему нужно сходить».
«У них нет цели ничего взломать. У них был инструментарий доступа к этому сайту. У него нет злого умысла. Это вообще история не об искусственном интеллекте»
Павел Мясоедов, эксперт по информационным технологиям, директор и партнер «ИТ-Резерв»
Что дальше
По мнению экспертов, тревогу бить пока рано, но прецедент создан. Мясоедов отметил, что защита должна быть изначально на уровне серверов: «Искусственный интеллект может более эффективно проникнуть на какой-то сервер, взломать его чисто теоретически, но это может сделать и хакер. Поэтому защита должна быть на уровне этого сервера от подобных атак».
Он также добавил, что регуляторика в отношении ИИ будет развиваться, но аккуратно: слишком широкие запреты могут замедлить развитие моделей, а конкуренция не позволяет этого допустить.
Ранее мы писали, что Верховный суд РФ тестирует четыре ИИ-модели в судах. Нейросети обучают на решениях ВС, но окончательное решение все равно остается за судьей.
Самые важные новости — в канале «Макс» «Ямал-Медиа».