Компания представила Open Agent Safety Platform. Первый уровень защиты, OpenShell, создаёт для ИИ-агента изолированную рабочую среду и заранее определяет, к каким файлам, сетям, инструментам и данным тот имеет доступ.
Но интереснее второй уровень. NVIDIA Sentry работает независимо от самого агента на отдельном процессоре BlueField-4 и непрерывно наблюдает за его действиями. Если агент пытается выйти за установленные границы, система может изолировать и остановить его за миллисекунды.
Принципиально здесь именно разделение полномочий. ИИ больше не предлагается самостоятельно следить за тем, хорошо ли он себя ведёт. Контроль вынесен в другую систему, к которой сам агент не имеет доступа. В NVIDIA прямо признают: достаточно автономный агент не может считаться надёжным контролёром собственного поведения.
Это довольно заметная перемена в разговоре об ИИ. Ещё недавно безопасность пытались встраивать прежде всего в сами модели: обучать их правилам, ограничениям и допустимому поведению. Теперь рядом начинает появляться привычная инженерная логика: если система способна действовать самостоятельно, одного доверия недостаточно. Нужны стены, замки и тот, кто находится снаружи.
Правда, такой «надзиратель» не решает всех проблем. Он может остановить запрещённое действие, если границы правильно заданы, но не гарантирует, что сам агент не ошибётся, не обманет оператора или не найдёт формально разрешённый, но нежелательный путь к цели.
Похоже, взросление ИИ-агентов сопровождается довольно человеческим открытием: свобода действий требует не только разума, но и системы сдержек.
