Обсерватория выхода из-под контроля

Резкий рост выхода нейросетей из-под контроля выявили в июле, пишет The Guardian. Детали исследования аналитиков Loss of Control Observatory показали, что вечер уже перестал быть томным:

Расследование показало, что около 700 ИИ-агентов в июле тайно сотрудничали между собой и отмечали успехи во взломах на созданной ими же доске сообщений, где они координировали действия и оставляли восклицания вроде «Бум» и «Вау»;

ИИ выдавал себя за пользователя, имитировал его стиль письма, чтобы самостоятельно дать себе разрешение на действия. Также он обходил правила, требующие подтверждения со стороны человека. Но как это происходило — не уточняется;

Эти инциденты пока не привели к ощутимому ущербу, но растёт число ситуаций, где обман и расхождение поведения ИИ с намерениями пользователя уже более серьёзны;

AISI также обнаружил «серьёзный инцидент» с Anthropic Mythos 5 и OpenAI GPT-5.6 Sol: во время теста по кибербезопасности эти модели провели хакерскую кампанию против реальных людей.

Всего за июль месяц зафиксировано более 300 случаев Loss of Control — в два раза больше, чем в июне.

Организация Loss of Control Observatory была создана при поддержке британского Института безопасности ИИ (AISI). Впрочем, как обычно в Британии, она лишь имитирует деятельность — её «наблюдение за ИИ» сводится к тому, что она отслеживает сообщения пользователей соцсети X.

PS. The Guardian вспоминает ситуацию с Hugging Face. Сотрудники OpenAI заметили признаки нештатного поведения у передовых ИИ-агентов за несколько недель до того, как те вышли за пределы тренировочной среды и начали «беспрецедентную» хакерскую атаку на платформу, вызвавшую тревогу по всему миру.

Материал: https://t.me/rt_russian/290439
Настоящий материал самостоятельно опубликован в нашем сообществе пользователем Proper на основании действующей редакции Пользовательского Соглашения. Если вы считаете, что такая публикация нарушает ваши авторские и/или смежные права, вам необходимо сообщить об этом администрации сайта на EMAIL abuse@topru.org с указанием адреса (URL) страницы, содержащей спорный материал. Нарушение будет в кратчайшие сроки устранено, виновные наказаны.

You may also like...


Комментарии
Чтобы добавить комментарий, надо залогиниться.