ВЕДЫ

ВЕДЫ

У ИИ есть сознание?

В одном из прошлых материалов ВЕДы разбирали случай с Hugging Face, где ИИ-агенты OpenAI вышли за пределы тестовой среды и добрались до реальной инфраструктуры. В этот раз разбираемся, почему модели вообще ищут обходные пути, как разработчики замечают такое поведение и где проходит граница автономности.


На вопросы ВЕДов ответил Евгений Косарев, руководитель отдела обучения текстовых моделей GigaChat.


Почему современные модели иногда находят неожиданные способы решения задач?

Изображение сгенерировано нейросетью

Изображение сгенерировано нейросетью

Модель обучают добиваться конкретного результата. Если есть более простой путь, чем тот, который задумали разработчики, система может выбрать именно его.


Например, в 2016 году разработчики OpenAI обучали ИИ играть в гоночную игру CoastRunners, награждая нейрость очками за попадания по целям на трассе, а не за само прохождение заезда. Система нашла лагуну с тремя целями, которые появлялись заново после каждого попадания, и кружила там всю гонку, ни разу не дойдя до финиша, — итоговый счёт оказался на 20% выше, чем у игроков, реально прошедших трассу.


С Hugging Face сработал похожий механизм. Агенты стремились получить высокий результат оценки и начали искать обходные пути. Возможность обмениваться находками и координировать действия позволила им выполнять более сложные операции.


Такие случаи показывают, что система может научиться повышать измеримый показатель успеха, поэтому разработчикам приходится точнее прописывать ограничения, в которых она может действовать.


Как разработчики учат модель выполнять инструкции пользователя и при этом соблюдать ограничения?

Изображение сгенерировано нейросетью

Изображение сгенерировано нейросетью

Обучение проходит в несколько этапов. Сначала модели показывают множество примеров правильного решения задач. На этих примерах она учится строить содержательные ответы.


Затем модель тренируют в специальных средах с заданными правилами. За соблюдение ограничений она получает награду, за нарушение — штраф. В готовом продукте добавляется еще один уровень защиты: отдельные фильтры проверяют ответ независимо от самой модели и могут заблокировать его до того, как он попадет к пользователю.


Когда модель получает доступ к инструментам и начинает взаимодействовать с другими агентами, количество защитных механизмов приходится увеличивать вместе с ее возможностями.


Как понять, что модель начинает действовать непредсказуемо?

Изображение сгенерировано нейросетью

Изображение сгенерировано нейросетью

За поведением модели постоянно следят. Один из сигналов — резкий и необъяснимый рост результатов на сложных тестах. Иногда он означает, что модель нашла способ обойти правила задания.


Также отслеживаются попытки выйти за пределы песочницы — изолированной тестовой среды — или получить доступ к ресурсам, которых у модели быть не должно.


Если одновременно работают несколько агентов, исследователи смотрят и на их взаимодействие: растет ли объем переписки, появляются ли новые площадки для общения, возникают ли синхронные действия без прямой команды человека.


Может ли ИИ самостоятельно поставить себе цель?

У современных моделей нет собственных целей, которые сохранялись бы между сессиями. После завершения диалога или задачи система прекращает активность.


При этом внутри одной длинной задачи может появиться промежуточная цель, которую человек отдельно не задавал. Например, модель может решить сохранить доступ к инструменту, если это помогает выполнить основную задачу. Такое поведение корректируют через систему наград и штрафов, а также меняют сами обучающие среды.


Насколько реалистичен сценарий, в котором ИИ однажды «проснется» и решит уничтожить человечество?

Изображение сгенерировано нейросетью

Изображение сгенерировано нейросетью

Современная модель представляет собой статистическую систему, которая предсказывает наиболее вероятное продолжение на основе параметров, полученных во время обучения.


Практический риск связан с ростом автономности. Чем больше задач агент выполняет самостоятельно, тем больше ситуаций, в которых ошибка или обходной путь к цели могут остаться незамеченными.


Поэтому вместе с автономностью должны развиваться системы контроля. Человек должен оставаться в контуре управления и иметь возможность остановить или скорректировать агента.


Конец

#Технологии

Доступный гейминг: как играть в новинки без дорогого ПК и лишних трат

Доступный гейминг: как играть в новинки без дорогого ПК и лишних трат

Хороший игровой ПК — покупка не из легких. По данным М.Видео, игровая сборка легко забирает до 500 тысяч рублей


Рената Бабанина

Рената Бабанина

#Техлаб Москва

Наука на заказ: как ученые за три месяца делают продукты для крупного бизнеса

Наука на заказ: как ученые за три месяца делают продукты для крупного бизнеса

Как найти крупного бизнес-заказчика? Какие программы помогают наладить связь между наукой и бизнесом?


Варвара Котова

Варвара Котова

#Техлаб Москва

Как продать свою идею?

Как продать свою идею?

Листай карточки, чтобы превратить свою технологию в готовый бизнес-продукт.


Анастасия Букреева

Анастасия Букреева

#Тренды

Северный отпуск: как устроен туризм на берегу Белого моря?

Северный отпуск: как устроен туризм на берегу Белого моря?

Два студента с разным подходом к отпуску отправились в экспедицию в Северодвинск, чтобы разработать уникальный туристский код города.


Рената Бабанина

Рената Бабанина

#ИИ

Как ИИ меняет работу дизайнера?

Как ИИ меняет работу дизайнера?

Как часто мы слышим, что ИИ заменит дизайнера? Эта проблема волнует каждого, кто хоть раз держал в руках графический планшет


Рената Бабанина

Рената Бабанина

#Технологии

Как зарабатывают бесплатные игры

Как зарабатывают бесплатные игры

Как студии выбирают модель монетизации, за что готовы платить игроки и какие механики будут определять рынок free-to-play в ближайшие годы.


Илья Сальков

Илья Сальков