NIST выпускает платформу с открытым исходным кодом для тестирования безопасности ИИ

Американский национальный институт стандартов и технологий (NIST) выпустил инструмент с открытым исходным кодом под названием Dioptra, предназначенный для тестирования устойчивости моделей машинного обучения к различным видам атак.

NIST выпускает платформу с открытым исходным кодом для тестирования безопасности ИИ. Фото: NIST

Из сообщения представителя NIST в интервью SC Media:

Ключевые особенности, которые появились с альфа-версии, включают новый веб-интерфейс, аутентификацию пользователей и отслеживание происхождения всех элементов эксперимента, что обеспечивает воспроизводимость и проверку результатов.

Ранее исследователи NIST выделили три основные категории атак на алгоритмы машинного обучения: уклонение, отравление и «‎оракул». Атаки уклонения направлены на то, чтобы вызвать неточный ответ модели путем манипуляции входными данными (например, добавлением шума). Атаки отравления нацелены на снижение точности модели путем изменения данных для обучения, что приводит к неправильным ассоциациям. Атаки «‎оракул» направлены на «‎обратную разработку‎» модели для получения информации о её тренировочном наборе данных или параметрах.

Бесплатная платформа позволяет пользователям определить, насколько атаки из трех упомянутых категорий влияют на производительность модели. Выпущенная версия 1.0.0 Dioptra включает множество функций для максимального удобства использования для разработчиков моделей, пользователей или покупателей моделей, тестировщиков моделей или аудиторов, а также исследователей в области машинного обучения. Помимо модульной архитектуры, Dioptra 1.0.0 также расширяема и совместима с плагинами Python.

NIST также опубликовал окончательные версии трех документов по руководствам. Первый документ охватывает двенадцать уникальных рисков генеративного ИИ и более 200 рекомендованных действий для предотвращения этих рисков. Второй документ описывает практики безопасной разработки программного обеспечения для генеративного ИИ и моделей двойного назначения, а третий предоставляет план глобального сотрудничества в разработке стандартов искусственного интеллекта.

Для пользователей, интересующихся другими платформами для анализа данных и тестирования, на сайте Startpack можно найти такие сервисы, как ChatGPT и YandexGPT, которые также предлагают возможности для работы с моделями машинного обучения.