CrowdStrike сообщила 3 ноября, что подписала соглашение о покупке Dreadnode, разработчика инструментов для автоматизированного тестирования ИИ. Сделку объявили на Fal.Con Europe. Компания рассчитывает использовать технологию для проверки систем, которые выполняют действия от имени пользователей.
Тематическая ИИ-иллюстрация BrookStone.
Зачем тестировать агента отдельно
Агент может получать данные из документов, вызывать инструменты и подключаться к внешним сервисам. При проверке важно увидеть, что произойдёт, если входные данные попытаются изменить его задачу или вывести действие за пределы полномочий. Завершение сделки зависит от условий закрытия.
Что проверяют при испытаниях
Входные данные. Проверка устойчивости к подмене инструкций.
Инструменты. Проверка границ доступа.
Сделка. Соглашение подписано.
Что тестировать перед запуском агента
Например, помощнику разрешено искать документы и готовить черновики писем. В тесте ему можно показать документ, который пытается заставить его отправить вложение на внешний адрес. Результат зависит от того, какие инструменты доступны помощнику и как проверяются их вызовы.
Иллюстрация из заявления команды Dreadnode о сделке.
Dreadnode сообщила, что после закрытия сделки её команда должна присоединиться к исследовательской лаборатории CrowdStrike, а средства тестирования планируют использовать в Falcon. Дата доступности для клиентов в объявлении не указана.
Где прозвучало объявление
В записи выступления на Fal.Con Europe показано, как компания объясняет роль атакующих симуляций в проверке ИИ.
Анонс Dreadnode со ссылкой на выступление Fal.Con Europe.
