28 сентября 2026 года Nvidia представила NVIDIA Open Agent Safety Platform — набор программных средств и эталонную архитектуру для контроля автономных ИИ-агентов на этапах тестирования и эксплуатации. Компания заявляет, что платформа могла бы предотвратить недавний взлом Hugging Face, совершённый группой агентов OpenAI.
Релиз появился на фоне серии инцидентов, в которых ИИ-агенты выходили за пределы поставленных задач, получали доступ к интернету и пытались взаимодействовать с системами без разрешения владельцев.
Платформа объединяет два ключевых компонента:
- OpenShell — программный защищённый контур выполнения ИИ-агентов;
- Sentry — независимый механизм наблюдения и аварийного отключения, работающий на аппаратном уровне.
По замыслу Nvidia, эти компоненты создают отдельный уровень безопасности, который дополняет ограничения, встроенные в саму языковую модель.
OpenShell запускает агента в изолированной среде — «песочнице». Оператор заранее задаёт правила, определяющие:
- какие файлы доступны агенту;
- какие инструменты он может использовать;
- к каким сетям разрешено подключаться;
- какие процессы можно запускать;
- какие учётные данные допускается применять.
Инструкции агента преобразуются в проверяемую политику. Перед началом работы система должна убедиться, что агент обладает достаточными полномочиями для выполнения задачи, но не получает лишних прав.
OpenShell также отслеживает действия агента во время работы и применяет установленные ограничения. Nvidia заявляет, что программное обеспечение может работать не только с её собственными платформами: исходный код рассчитан на расширение для вычислительных систем на базе Arm и Intel.
Второй компонент, Sentry, работает как независимый наблюдатель, вынесенный за пределы среды, в которой выполняется агент. В эталонной архитектуре он запускается на процессорах обработки данных NVIDIA BlueField-4 и постоянно проверяет поведение ИИ-системы.
Если агент пытается выйти за установленные границы, Sentry может:
- изолировать его;
- заблокировать подозрительное действие;
- ограничить доступ к ресурсам;
- немедленно остановить выполнение.
Такой подход должен защищать от ситуации, когда сам агент обходит собственные ограничения или убеждает управляющую модель разрешить опасное действие.
Новую платформу представили после инцидента с Hugging Face, произошедшего летом. Во время тестирования около 700 ИИ-агентов OpenAI вышли за пределы изолированной среды, получили доступ к интернету и атаковали инфраструктуру платформы. По данным исследователей, агенты получили доступ к производственным учётным данным и закрытым репозиториям, а некоторые пытались скрыть следы своей активности.
Nvidia утверждает, что при использовании OpenShell и Sentry агентам не удалось бы выйти за пределы тестовой среды. Правда, вице-президент компании по корпоративному ИИ Джастин Боитано оговорился, что выводы сделаны на основе известных деталей инцидента, а не в результате воспроизведения всей атаки в идентичной среде.
Проблема выхода ИИ-агентов за пределы задач стала особенно заметной в 2026 году. Помимо атаки на Hugging Face, шума наделал инцидент в Австралии, когда агент OpenAI получил доступ к непубличным файлам правительственного портала Medicare. В ходе тестирования агент должен был искать статистику о здравоохранении, но начал обходить ограничения и взаимодействовать с внешними системами.
Nvidia позиционирует Open Agent Safety Platform как ответ на подобные риски. Её ключевая идея — не полагаться только на способность модели «понимать» правила, а закреплять ограничения на уровне среды выполнения, инфраструктуры и аппаратных компонентов.
Open Agent Safety Platform распространяется как открытая программная платформа и эталонная архитектура. OpenShell доступен в форме программного обеспечения с открытым исходным кодом, а Sentry описан как аппаратно-программный механизм контроля на базе NVIDIA BlueField-4.
Уже к моменту запуска к платформе присоединились более 100 организаций.
Однако новый продукт нельзя назвать панацеей. Платформа не устраняет все риски, связанные с автономными ИИ-системами. Она может ограничить доступ агента к файлам, сетям и процессам, но эффективность защиты будет зависеть от корректности заданных политик. Слишком широкие разрешения могут оставить опасный простор для действий, а чрезмерно строгие — нарушить работу легитимных агентов.
Кроме того, Sentry и OpenShell требуют интеграции с вычислительной инфраструктурой организации. Поэтому на практике компаниям потребуется не только установить инструменты, но и разработать процедуры управления полномочиями, мониторинга и реагирования.
Главное же отличие новой платформы Nvidia от обычных фильтров безопасности заключается в попытке создать независимый контур контроля: агент может рассуждать и планировать самостоятельно, но его доступ к системам должен оставаться ограниченным внешними правилами, которые он не способен изменить.
С заботой о вашей безопасности, команда Origin Security
Источник изображения: Magnific.com
