ПО «ЗЕФИР» ОЦЕНИЛИ В АДМИНИСТРАЦИИ ПРЕЗИДЕНТА
Начальник Управления президента РФ по общественным проектам Сергей Новиков на II Международной конференции «Цифровые международные отношения 2023» рассказал о ПО «Зефир» — нашей разработке, которая позволяет распознавать дипфейки с высокой точностью.
«Сейчас достаточно массово доступная технология производства дипфейков, это еще одна угроза. С одной стороны, с ней могут быть какие-то плюсы для креативных индустрий, но, с другой стороны, с точки зрения мошенничества, это новый рычаг воздействия и манипулирования доверием граждан… У нас есть организация, которая работает в киберпространстве — «Диалог Регионы», которая разработала технологию распознавания дипфейков с точностью 81%», — отметил Сергей Новиков.
Что такое «Зефир»?
Это информационная система мониторинга аудиовизуальных материалов, в том числе дипфейков, на основе транскрибации речи, алгоритмической оценки и анализа с помощью ИИ.
Как работает «Зефир»?
Благодаря транскрибации речи в режиме реального времени и использовании алгоритмов искусственного интеллекта «Зефир» оперативно сообщает, что транслируют на экране — дипфейк, спуфинг голоса или же настоящий аудиовизуальный материал.
А если совсем подробно?
Звук и речь: входной звук разбивается на фрагменты, преобразуется в спектрограмму log-Mel и передается в кодировщик. Декодер обучен определять соответствующий текстовый отрезок, дополнительно используя специальные токены для выполнения таких задач, как идентификация языка, временные метки на уровне фраз, транскрипция многоязычной речи.
Видео: система содержит в себе несколько подсистем для поиска потенциальных дипфейков, в которых инкапсулированы различные наборы механизмов создания. Внутри модели при анализе делается перебор механизмов в режиме “черного ящика”, и на выходе получаем наибольший результат совпадения
Поиск лиц: система использует модель Retina Face Onxx для распознавания лиц в изображении. Модель обрабатывает пять кадров в секунду. Далее для классификации наличия фейка используется самостоятельно обученная модель EfficientNet PyTorch.