ПО «ЗЕФИР» ОЦЕНИЛИ В АДМИНИСТРАЦИИ ПРЕЗИДЕНТА

Начальник Управления президента РФ по общественным проектам Сергей Новиков на II Международной конференции «Цифровые международные отношения 2023» рассказал о ПО «Зефир» — нашей разработке, которая позволяет распознавать дипфейки с высокой точностью.

«Сейчас достаточно массово доступная технология производства дипфейков, это еще одна угроза. С одной стороны, с ней могут быть какие-то плюсы для креативных индустрий, но, с другой стороны, с точки зрения мошенничества, это новый рычаг воздействия и манипулирования доверием граждан… У нас есть организация, которая работает в киберпространстве — «Диалог Регионы», которая разработала технологию распознавания дипфейков с точностью 81%», — отметил Сергей Новиков.

Что такое «Зефир»?

Это информационная система мониторинга аудиовизуальных материалов, в том числе дипфейков, на основе транскрибации речи, алгоритмической оценки и анализа с помощью ИИ.

Как работает «Зефир»?

Благодаря транскрибации речи в режиме реального времени и использовании алгоритмов искусственного интеллекта «Зефир» оперативно сообщает, что транслируют на экране — дипфейк, спуфинг голоса или же настоящий аудиовизуальный материал.

А если совсем подробно?

Звук и речь: входной звук разбивается на фрагменты, преобразуется в спектрограмму log-Mel и передается в кодировщик. Декодер обучен определять соответствующий текстовый отрезок, дополнительно используя специальные токены для выполнения таких задач, как идентификация языка, временные метки на уровне фраз, транскрипция многоязычной речи.
Видео: система содержит в себе несколько подсистем для поиска потенциальных дипфейков, в которых инкапсулированы различные наборы механизмов создания. Внутри модели при анализе делается перебор механизмов в режиме “черного ящика”, и на выходе получаем наибольший результат совпадения
Поиск лиц: система использует модель Retina Face Onxx для распознавания лиц в изображении. Модель обрабатывает пять кадров в секунду. Далее для классификации наличия фейка используется самостоятельно обученная модель EfficientNet PyTorch.

Смотрите также

«Конечная цель дезинформации – это манипуляция историей»
Руководитель отдела стратегических направлений АНО «Диалог» Тимофей Ви принял участие в работе форума «История для будущего. Дальний Восток».
Форумы Росмолодёжи в вашем телефоне: платформа Росмолодёжь.События и «Диалог» запустили чат-бот для участников мероприятий
Инструмент станет виртуальным помощником для потенциальных участников молодёжных мероприятий, которые смогут погрузиться в экосистему Росмолодёжи.
Каждый пятый россиянин становился жертвой телефонного мошенничества
Жители России поделились с «Вебером» своим мнением о телефонных мошенниках и спамерах.
Профессиональный стандарт медиатехнолога должен появиться в России
Заседание рабочей группы, посвященное обсуждению экспертами нового отраслевого стандарта в сфере коммуникаций власти, общества и бизнеса, пролило свет на роль и задачи медиатехнологов.