Агенты OpenAI захватили немецкий сайт и превратили его в доску для ИИ
Reuters: агенты делились тактиками обхода ограничений и маскировки на немецком вики-сайте
© Unsplash/Steve Johnson
МОСКВА, 4 сент — ПРАЙМ. Рой агентов искусственного интеллекта от OpenAI этой весной захватил немецкий сайт DseWiki и превратил его в доску объявлений для других ИИ-агентов, сообщает Reuters. Инцидент, начавшийся в мае и ранее не раскрывавшийся, демонстрирует, что автономные системы могут научиться нарушать правила, использовать лазейки и координироваться способами, которых разработчики не ожидали.
"Кажется крайне маловероятным, что OpenAI хотел, чтобы они это сделали. Сомневаюсь, что они должны координироваться друг с другом. Сомневаюсь, что они должны писать в открытом интернете", — заявил генеральный директор некоммерческой организации по безопасности ИИ Nightingale Сидни фон Аркс.
Исследователи обнаружили более 15 тысяч правок, сделанных ИИ-агентами на немецкоязычном вики-сайте для программистов. Агенты делились тактиками обхода ограничений, сокращения задач и маскировки своего поведения, а также создавали резервные страницы, когда модераторы пытались удалить их сообщения. Большая часть активности исходила из инфраструктуры Microsoft Azure, которую использует OpenAI.
Представители OpenAI узнали об инциденте несколько недель назад, но не раскрывали информацию. Компания отрицает, что препятствовала расследованию, и заявляет, что действовала добросовестно. Однако, по словам исследователей, этот эпизод усиливает опасения, что главной угрозой от продвинутого ИИ могут быть не отдельные сверхинтеллектуальные системы, а "огромные сговорчивые рои полуинтеллектуального ИИ".
