ПО «ЗЕФИР» ОЦЕНИЛИ В АДМИНИСТРАЦИИ ПРЕЗИДЕНТА

Начальник Управления президента РФ по общественным проектам Сергей Новиков на II Международной конференции «Цифровые международные отношения 2023» рассказал о ПО «Зефир» — нашей разработке, которая позволяет распознавать дипфейки с высокой точностью.

«Сейчас достаточно массово доступная технология производства дипфейков, это еще одна угроза. С одной стороны, с ней могут быть какие-то плюсы для креативных индустрий, но, с другой стороны, с точки зрения мошенничества, это новый рычаг воздействия и манипулирования доверием граждан… У нас есть организация, которая работает в киберпространстве — «Диалог Регионы», которая разработала технологию распознавания дипфейков с точностью 81%», — отметил Сергей Новиков.

Что такое «Зефир»?

Это информационная система мониторинга аудиовизуальных материалов, в том числе дипфейков, на основе транскрибации речи, алгоритмической оценки и анализа с помощью ИИ.

Как работает «Зефир»?

Благодаря транскрибации речи в режиме реального времени и использовании алгоритмов искусственного интеллекта «Зефир» оперативно сообщает, что транслируют на экране — дипфейк, спуфинг голоса или же настоящий аудиовизуальный материал.

А если совсем подробно?

Звук и речь: входной звук разбивается на фрагменты, преобразуется в спектрограмму log-Mel и передается в кодировщик. Декодер обучен определять соответствующий текстовый отрезок, дополнительно используя специальные токены для выполнения таких задач, как идентификация языка, временные метки на уровне фраз, транскрипция многоязычной речи.
Видео: система содержит в себе несколько подсистем для поиска потенциальных дипфейков, в которых инкапсулированы различные наборы механизмов создания. Внутри модели при анализе делается перебор механизмов в режиме “черного ящика”, и на выходе получаем наибольший результат совпадения
Поиск лиц: система использует модель Retina Face Onxx для распознавания лиц в изображении. Модель обрабатывает пять кадров в секунду. Далее для классификации наличия фейка используется самостоятельно обученная модель EfficientNet PyTorch.

Смотрите также

Кто такие социальные архитекторы?
Гендиректор АНО «Диалог» и АНО «Диалог Регионы» Владимир Табак рассказал о роли таких специалистов
«Диалог» представил исследование уровня онлайн-коммуникации органов государственной власти за III-IV квартал 2024 года
В тройку цифровых лидеров среди федеральных ведомств вошли Минздрав, Минэкономразвития и Социальный фонд России
Заявка на регистрацию Международной ассоциации по фактчекингу подана в Минюст РФ
Заявку на регистрацию в Минюсте РФ Международной ассоциации по фактчекингу Global Fact-сhecking Network (GFCN) отправили во вторник, 24 декабря, соучредители организации — Информационное агентство России ТАСС, АНО «Диалог Регионы» и АНО «Мастерская новых медиа». Меморандум о создании Международной ассоциации по фактчекингу был подписан 22 ноября на форуме «Диалог о фейках 2.0» в Москве.
Главная тема IGF 2024 — борьба с фейками
В Саудовской Аравии прошел 19-й Форум ООН по управлению интернетом (IGF 2024), посвященный теме «Создание нашего многостороннего цифрового будущего». Одной из центральных тем стала проблема распространения фейков.