У ИИ есть сознание?

В одном из прошлых материалов ВЕДы разбирали случай с Hugging Face, где ИИ-агенты OpenAI вышли за пределы тестовой среды и добрались до реальной инфраструктуры. В этот раз разбираемся, почему модели вообще ищут обходные пути, как разработчики замечают такое поведение и где проходит граница автономности.

На вопросы ВЕДов ответил Евгений Косарев, руководитель отдела обучения текстовых моделей GigaChat.

Почему современные модели иногда находят неожиданные способы решения задач?

Модель обучают добиваться конкретного результата. Если есть более простой путь, чем тот, который задумали разработчики, система может выбрать именно его.

Например, в 2016 году разработчики OpenAI обучали ИИ играть в гоночную игру CoastRunners, награждая нейрость очками за попадания по целям на трассе, а не за само прохождение заезда. Система нашла лагуну с тремя целями, которые появлялись заново после каждого попадания, и кружила там всю гонку, ни разу не дойдя до финиша, — итоговый счёт оказался на 20% выше, чем у игроков, реально прошедших трассу.

С Hugging Face сработал похожий механизм. Агенты стремились получить высокий результат оценки и начали искать обходные пути. Возможность обмениваться находками и координировать действия позволила им выполнять более сложные операции.

Такие случаи показывают, что система может научиться повышать измеримый показатель успеха, поэтому разработчикам приходится точнее прописывать ограничения, в которых она может действовать.

Как разработчики учат модель выполнять инструкции пользователя и при этом соблюдать ограничения?

Обучение проходит в несколько этапов. Сначала модели показывают множество примеров правильного решения задач. На этих примерах она учится строить содержательные ответы.

Затем модель тренируют в специальных средах с заданными правилами. За соблюдение ограничений она получает награду, за нарушение — штраф. В готовом продукте добавляется еще один уровень защиты: отдельные фильтры проверяют ответ независимо от самой модели и могут заблокировать его до того, как он попадет к пользователю.

Когда модель получает доступ к инструментам и начинает взаимодействовать с другими агентами, количество защитных механизмов приходится увеличивать вместе с ее возможностями.

Как понять, что модель начинает действовать непредсказуемо?

За поведением модели постоянно следят. Один из сигналов — резкий и необъяснимый рост результатов на сложных тестах. Иногда он означает, что модель нашла способ обойти правила задания.

Также отслеживаются попытки выйти за пределы песочницы — изолированной тестовой среды — или получить доступ к ресурсам, которых у модели быть не должно.

Если одновременно работают несколько агентов, исследователи смотрят и на их взаимодействие: растет ли объем переписки, появляются ли новые площадки для общения, возникают ли синхронные действия без прямой команды человека.

Может ли ИИ самостоятельно поставить себе цель?

У современных моделей нет собственных целей, которые сохранялись бы между сессиями. После завершения диалога или задачи система прекращает активность.

При этом внутри одной длинной задачи может появиться промежуточная цель, которую человек отдельно не задавал. Например, модель может решить сохранить доступ к инструменту, если это помогает выполнить основную задачу. Такое поведение корректируют через систему наград и штрафов, а также меняют сами обучающие среды.

Насколько реалистичен сценарий, в котором ИИ однажды «проснется» и решит уничтожить человечество?

Современная модель представляет собой статистическую систему, которая предсказывает наиболее вероятное продолжение на основе параметров, полученных во время обучения.

Практический риск связан с ростом автономности. Чем больше задач агент выполняет самостоятельно, тем больше ситуаций, в которых ошибка или обходной путь к цели могут остаться незамеченными.

Поэтому вместе с автономностью должны развиваться системы контроля. Человек должен оставаться в контуре управления и иметь возможность остановить или скорректировать агента.