Microsoft подтвердила, что с ноября Teams позволит сторонним инструментам сканировать встречи на предмет дипфейков

Microsoft подтвердила, что с ноября Teams позволит сторонним инструментам сканировать встречи на предмет дипфейков. Фото: СС0

Функция впервые появилась в дорожной карте Microsoft 365 2 октября под названием «Обнаружение синтетического аудио и видео от сторонних разработчиков в Microsoft Teams» и до сих пор числится в списке разрабатываемых.

В уведомлении администратора MC1509787 прямо указано, кто выполняет работу: «Обнаружение синтетического контента осуществляется сторонним поставщиком», а «Microsoft Teams обеспечивает интеграцию платформы и возможности для отображения и реагирования на сигналы обнаружения от поддерживаемых поставщиков».

При этом 22 октября Microsoft изменила график: первоначально продукт должен был стать доступен для всех с конца ноября до середины декабря, но в пересмотренном варианте указан только целевой релиз с середины до конца ноября, а для всех остальных компания сообщит через Центр сообщений, когда будет готова продолжить.

В дорожной карте указаны только версии для настольных компьютеров, Mac и веб-версии, тогда как в отдельных предупреждениях Microsoft о подделке личности для собраний Teams, которые также должны появиться в ноябре, упоминаются Android и iOS, но в системе обнаружения дипфейков их нет, по крайней мере пока.

В документации Microsoft Graph уже есть бета-версия API reportSyntheticMedia, демонстрирующая принцип работы: для подключения к звонку сертифицированному боту обнаружения нужно разрешение, а администратор клиента должен предоставить ему разрешения Calls.ReportSyntheticMedia.All.

Затем бот помечает участника с оценкой достоверности от 0,0 до 1,0, указывает низкий, средний или высокий уровень серьёзности и считает ли контент вредоносным, приводя в качестве примеров обнаружение аудио через функцию voiceClone, а видео — через faceSwap и lipSync. Результат передаётся всем участникам посредством обновления списка участников, то есть сигнал получают все присутствующие, а не только организатор, и боты должны отправлять отчёты не чаще одного раза в минуту от каждого участника.

Со стороны администратора уведомление предлагает ИТ-командам выбрать поставщика, развернуть его приложение из раздела «Управление приложениями» в центре администрирования Teams, предоставить разрешения и настроить политики собраний; в Teams PowerShell уже есть два параметра политики — SyntheticMediaDetection и SyntheticMediaDetectionAppId, хотя Microsoft заявляет, что они «не будут иметь никакого эффекта» до полного выпуска функции.

Любопытно, что в документации идентификатор приложения по умолчанию указан как «Обнаружение Microsoft, когда доступен 1P», так что, возможно, Microsoft работает и над собственным детектором, хотя подтвердить это пока нельзя.

В уведомлении о соответствии требованиям говорится, что «сертифицированные сторонние поставщики могут анализировать аудио/видеосигналы совещаний», и администраторам рекомендуется ознакомиться с условиями поставщика, обработкой данных и документацией по соответствию, прежде чем включать функцию.

Для контекста: когда Teams использует собственный ИИ для улучшения звука и видео, Microsoft заявляет, что аудио и видео совещания «никогда не покидают Teams и нигде и никем не хранятся», однако это обещание относится к обработке данных Microsoft и не распространяется автоматически на ботов сторонних поставщиков.

Некоторые поставщики уже продают приложения для создания дипфейков в Teams: например, в документации Sensity говорится, что их бот «присоединяется к звонку и записывает 30 секунд аудио/видео» для каждого анализа, но Microsoft не сообщила, сертифицирована ли Sensity или кто-либо ещё. Таким образом, остаётся неизвестным, какие поставщики сертифицированы, какие требования предъявляются к сертификации, какие лицензии необходимы, обрабатывается ли медиаконтент в облаке, как долго поставщики хранят данные и могут ли они обучать свои модели, а также будет ли каждый участник уведомлён о том, что бот обнаружения прослушивает встречу.

Новая функция отличается от кнопки «Сообщить о проблеме» в Teams, которая уже позволяет пользователям отмечать подозрительные встречи: там нарушение помечает участник встречи и речь идёт о фишинге, выдаче себя за другое лицо, мошенничестве и социальной инженерии, а информация попадает в центр администрирования Teams и Microsoft Defender.

В случае обнаружения дипфейков метку ставит бот поставщика, он выявляет синтетические или обработанные аудио- и видеоматериалы, а результат виден всем участникам через обновление списка участников. «Сообщить о проблеме» явно не происходит автоматически, поскольку человек должен распознать подделку, а исследования показывают, что люди справляются с этим плохо: в исследовании UCL 2023 года с участием 529 человек люди распознавали дипфейковую речь только в 73% случаев, и обучение практически не помогло, а метаанализ 56 статей 2024 года показывает, что общая точность распознавания дипфейков человеком составляет 55,54%, что ненадёжно лучше подбрасывания монеты; при этом люди склонны считать, что хорошо распознают дипфейки, даже когда это не так.

Предупреждение о дипфейке в Teams не будет доказательством мошенничества, а показатель достоверности остаётся предположением, хотя что-то лучше, чем ничего; ситуацию усугубляет то, что Microsoft не опубликовала данные о точности или частоте ложных срабатываний ни для одного из провайдеров.

Учитывая популярность Teams и наличие у Microsoft всех необходимых ресурсов, ответственность за предотвращение мошенничества с дипфейками лежит на Редмонде, и интересно, насколько хорошо работают сторонние инструменты, если у участника плохая веб-камера или намеренно нестабильное интернет-соединение.