ПО «ЗЕФИР» ОЦЕНИЛИ В АДМИНИСТРАЦИИ ПРЕЗИДЕНТА

Начальник Управления президента РФ по общественным проектам Сергей Новиков на II Международной конференции «Цифровые международные отношения 2023» рассказал о ПО «Зефир» — нашей разработке, которая позволяет распознавать дипфейки с высокой точностью.

«Сейчас достаточно массово доступная технология производства дипфейков, это еще одна угроза. С одной стороны, с ней могут быть какие-то плюсы для креативных индустрий, но, с другой стороны, с точки зрения мошенничества, это новый рычаг воздействия и манипулирования доверием граждан… У нас есть организация, которая работает в киберпространстве — «Диалог Регионы», которая разработала технологию распознавания дипфейков с точностью 81%», — отметил Сергей Новиков.

Что такое «Зефир»?

Это информационная система мониторинга аудиовизуальных материалов, в том числе дипфейков, на основе транскрибации речи, алгоритмической оценки и анализа с помощью ИИ.

Как работает «Зефир»?

Благодаря транскрибации речи в режиме реального времени и использовании алгоритмов искусственного интеллекта «Зефир» оперативно сообщает, что транслируют на экране — дипфейк, спуфинг голоса или же настоящий аудиовизуальный материал.

А если совсем подробно?

Звук и речь: входной звук разбивается на фрагменты, преобразуется в спектрограмму log-Mel и передается в кодировщик. Декодер обучен определять соответствующий текстовый отрезок, дополнительно используя специальные токены для выполнения таких задач, как идентификация языка, временные метки на уровне фраз, транскрипция многоязычной речи.
Видео: система содержит в себе несколько подсистем для поиска потенциальных дипфейков, в которых инкапсулированы различные наборы механизмов создания. Внутри модели при анализе делается перебор механизмов в режиме “черного ящика”, и на выходе получаем наибольший результат совпадения
Поиск лиц: система использует модель Retina Face Onxx для распознавания лиц в изображении. Модель обрабатывает пять кадров в секунду. Далее для классификации наличия фейка используется самостоятельно обученная модель EfficientNet PyTorch.

Смотрите также

82% россиян выступают за поддержку значимости Дня памяти и скорби на государственном уровне
АНО «Диалог Регионы» и Национальный центр исторической памяти при Президенте РФ изучили отношение россиян к Великой Отечественной войне.
40% россиян работают не по специальности, которой обучались
Такие данные открыли сессию «Мастер без имени: как образованию актуализировать форму и содержание современных профессий» на ПМЭФ.
Россияне верят в отечественные соцсети и их возможности стать международными площадками
Представители российских платформ рассказали о планах по развитию новых сервисов и подходов, а иностранные эксперты и медийщики поделились своими ожиданиями на ПМЭФ.
51% россиян полностью или частично представляют будущее России
В современном мире, полном фантастических произведений искусства, практически каждый человек имеет собственное мнение о будущем. При этом 39% опрошенных совсем не имеют представления о том, каким будет будущее нашей страны. Об этом рассказал Владимир Табак на ПМЭФ-2024.