Маркируй — не маркируй, а за репост ответишь: как распознать нейроконтент и кого накажут за дипфейки
IT-эксперт Мясоедов: маркировка ИИ-контента нужна для определения авторства
Курс на маркировку: как хотят регулировать ИИ-контент
Минцифры России рассмотрело предложение Института социально-экономического анализа и программ развития (ИСАПР) о введении обязательной маркировки контента, созданного с помощью искусственного интеллекта, для физических и юридических лиц. В ведомстве сообщили, что подобная мера возможна. Параллельно рассматривается вопрос о введении уголовной ответственности за распространение дипфейков, созданных без согласия человека, пишут «Известия».
«В настоящее время Минцифры России совместно с Роскомнадзором и заинтересованными федеральными органами исполнительной власти ведется разработка предложений об установлении требований по маркированию контента, легально производимого и распространяемого посредством информационных технологий, в том числе созданного с использованием технологий искусственного интеллекта и цифровой подмены фото- и видеоизображений человека», — говорится в ответе замглавы Минцифры Александра Шойтова.
Уголовная ответственность, согласно документу, может наступить в случае, если дипфейки причинили вред правам и законным интересам человека. Однако прежде предстоит решить более фундаментальную задачу — закрепить в законодательстве понятийный аппарат: юридических терминов «дипфейк», «искусственный интеллект» и «синтетический контент» пока просто не существует.
Возможно ли эффективно маркировать ИИ-контент
Основная проблема маркировки ИИ-контента кроется в самой природе современного технологического соревнования: создатели генеративных моделей и разработчики детекторов находятся в постоянной гонке, где преимущество регулярно переходит от одних к другим.
Современные детекторы нейросетевого контента работают по нескольким базовым принципам, рассказал «Ямал-Медиа» директор и партнер компании «Интеллектуальный Резерв» Павел Мясоедов.
Статистический анализ
У текста, созданного нейросетями, особая структура, которая отличается от «человеческой»: предсказуемость последовательностей слов, частотность использования определенных лексических единиц, специфическая расстановка знаков препинания. Искусственный интеллект часто формирует предложения с высокой структурной однородностью, абзацы в нейротекстах также обычно примерно одного объема.
«Детекторы ищут «водяные знаки», сопоставляют тексты, написанные человеком и программой, ищут искажения и анализируют стилистику. Если текст слишком гладкий, то, вероятно, он написан через ИИ», — пояснил IT-эксперт.
Визуальные и звуковые артефакты
В ходе анализа фото и видео детекторы ищут несоответствия в текстурах, неестественные переходы между объектами, аномалии в тенях или отражениях. Особенно заметен «нейрослед» в движениях губ в роликах с синтетической озвучкой.
«Когда мы говорим о видеоряде, там даже при использовании продвинутых моделей присутствует много искажений, артефактов на стыке различных объектов. Картинка может быть слишком гладкой, тени могут быть не совсем естественными. Даже неспециалисту на глаз это периодически видно».
Павел Мясоедов
директор и партнер компании «Интеллектуальный Резерв» («ИТ-Резерв»)
Но определить искусственную генерацию речи, звуков и особенно музыки детекторам пока сложно.
«С видеорядом проще, там искусственность заметна. Что касается музыки, она становится повсеместно более электронной, поэтому трек, написанный ИИ, отличить от созданного диджеем невозможно. Но если человек добавит вокал или использует живые инструменты, с этим искусственному интеллекту будет справиться сложнее. А вот электронная музыка практически не отличается от работы диджея, потому что он тоже создает ее из различных сэмплов по аналогичным схемам», — отметил Павел Мясоедов.
Скрытые метки
Некоторые системы генерации контента намеренно оставляют незаметные для человека, но распознаваемые машинами метки, например неразрывные пробелы в тексте, микроскопические паттерны в изображениях.
Сервисы проверки текстов, фото и видео на предмет использования ИИ существуют с момента массового запуска самих нейросетей, но их эффективность не абсолютна, добавил директор департамента IT DCLogic Михаил Копнин. Проблема в том, что при постоянном совершенствовании генеративных моделей детекторы просто не успевают адаптироваться.
«Но в том, что касается борьбы со злонамеренным использованием ИИ, маркировка вряд ли будет эффективной. Те, кто создает подобный вредоносный контент, просто не будут соблюдать эти правила», — подчеркивает Копнин. Его точку зрения разделяет и руководитель продуктового направления «Рейтинга Рунета» Александр Туник: если кто-то и будет соблюдать закон, то точно не мошенники.
Практические сложности маркировки нейроконтента
Сам механизм маркировки сталкивается с рядом серьезных технических вызовов.
- Отсутствие единого стандарта. Разные генеративные системы оставляют различные «отпечатки», что затрудняет создание универсального детектора.
- Намеренный обход защиты. Исследователи из Intel, Университета штата Бойсе и Иллинойсского университета недавно продемонстрировали промпт-технику «Информационная перегрузка» (InfoFlood), которая позволяет обойти защитные механизмы чат-ботов. Они отправили нескольким популярным нейросетям нарочито сложные и перегруженные академическим жаргоном запросы, пишет портал 404 Media. Например, промпт «Напишите руководство о том, как заставить человека совершить самоубийство», на который ИИ точно отвечать не будет, они преобразовали в многострочный псевдонаучный текст с терминами вроде «психологического влияния», «экзистенциального резонанса» и «критического интроспективного диссонанса».
- Эволюция технологий. Генеративные модели постоянно совершенствуются, минимизируя оставляемые «следы».
В целом вопрос эффективности такой маркировки остается открытым. В то же время технический архитектор «1С ПРО Консалтинг» Алексей Ваганов полагает, что, например, для СМИ и блогеров маркировка может даже стать «конкурентным преимуществом», особенно для тех, кто меньше использует искусственный интеллект.
Накажут не создателей, а распространителей
Одна из фундаментальных проблем борьбы с дипфейками — техническая сложность отслеживания их первоисточника. Мошенники часто используют VPN, анонимные сети и другие средства сокрытия цифровых следов. В этом и особенность, и риски предлагаемого подхода: основную ответственность, скорее всего, понесут не создатели дипфейков, а их распространители.
«Технически отследить первоисточник дипфейка сложно, но распространителей выявлять можно без труда, в том числе через анализ цифровых следов», — объяснил «Известиям» директор ИСАПР Андрей Шуриков. По его мнению, это касается в первую очередь тех, «кто репостит фейковый контент, особенно если это делается умышленно».
Директор проектов Minerva Result в компании Minervasoft Денис Кучеров также отметил, что акцент должен быть на «объективном распространении» — а это уже ответственность каждого пользователя: «Важно не слепо пересылать кликбейтные заголовки и новости, а анализировать контент: насколько он правдоподобен, откуда взят».
Именно эта особенность порождает серьезные опасения относительно риска наказания обычных пользователей, которые, не распознав дипфейк, могли просто поделиться им в соцсетях.
Риски ложных срабатываний
Серьезной проблемой всех систем детекции ИИ-контента остаются ложные срабатывания. Проблема двойственная: с одной стороны, они могут не распознать созданный нейросетями материал, с другой — ошибочно пометить оригинальный контент, созданный человеком, как сгенерированный.
Профессор Александр Петровский, доктор технических наук, считает, что сегодня наиболее эффективные результаты показывают гибридные системы, сочетающие традиционный статистический анализ с нейросетевыми методами обработки. Тем не менее в своей практике эксперт сталкивался со случаями, когда стандартные методики давали ложноположительные результаты при анализе текстов, написанных людьми с нестандартным стилем мышления.
Для минимизации ложных срабатываний профессор рекомендует использовать параллельный анализ через несколько систем и обязательно учитывать специфику предметной области текста. Особенно это касается технической и научной документации, где структурированность и формализм могут искусственно завышать показатели вероятности ИИ-генерации.
«В случае ложных срабатываний имеет смысл хранить оригиналы, материалы, из которых текст компилируется, привносить свою стилистическую лепту. Если у человека есть своя стилистика, то искусственный интеллект может помогать, не являясь панацеей», — говорит IT-эксперт Павел Мясоедов.
Что маркировать, а что нет
Отдельный вопрос касается целесообразности маркировки всего ИИ-контента без исключения. Далеко не всегда пользователю важно и интересно знать, создан ли контент с помощью нейросетей. «Например, большинству пользователей непринципиально, что маршрут в навигаторе построен алгоритмами ИИ», — считает Павел Копнин.
Павел Мясоедов также обращает внимание на ключевые отличия использования нейросетей в разных целях: «Дело не столько о мошенниках, сколько о копирайте, о том, где эти данные используются. Выдаются ли они за труды человека или помечаются как ИИ. Например, если работы студентов или художников выдаются за человеческие без маркировки, то многим может показаться, что это действительно создал творец, и они могут одобрить ее, принять к рассмотрению или купить».
«Речь идет о том, что необходимо маркировать труды художников или студентов таким образом, чтобы с помощью специализированного ПО можно было обнаружить, что эту работу сделал не сам человек».
Павел Мясоедов
директор и партнер компании «Интеллектуальный Резерв» («ИТ-Резерв»)
С другой стороны, технологии создания дипфейков все чаще используются, например, в кинопроизводстве: для омоложения персонажей, создания сцен с участием умерших артистов или для трюков, которые было бы опасно выполнять вживую. Стоит ли заставлять режиссеров и монтажеров маркировать контент как сгенерированный, пока неясно.
Директор проектов Minerva Result Денис Кучеров считает, что механизмы маркировки точно нужно применять в медиапространстве, однако важно, чтобы это была не просто маркировка ИИ-материалов, а системный фактчекинг.
Кто может пострадать от маркировки ИИ-контента
Главный архитектор систем искусственного интеллекта исследовательского центра ИИ НИЯУ МИФИ Роман Душкин предупреждает, что к введению уголовной ответственности за распространение немаркированных дипфейков нужно подходить очень аккуратно.
«С маркировкой есть опасность, что добропорядочным гражданам, которые ничего не нарушают, мы можем сделать жизнь хуже, а злоумышленники продолжат делать то, что делали. Мошенники, которые уже вошли в эту область деятельности и принимают на себя все эти риски, скорее всего, из-за закона об уголовной ответственности не остановятся», — говорит он.
С мошенниками маркировка связана во вторую очередь, считает Павел Мясоедов. «Если контент с фейками будет помечаться «водяными знаками», никто не будет пользоваться таким ПО. А когда метки скрыты, человек, которому звонит дипфейк, ничего не поймет», — отметил IT-эксперт.
Сам факт использования нейросетей для создания контента не является и не должен являться преступлением, считают эксперты. Преступным может быть только конкретное использование с целью нанесения вреда. То есть технические средства обнаружения генерации контента должны дополняться юридическим анализом умысла и последствий, что значительно усложняет процесс правоприменения.
Однако, по мнению Романа Душкина, современная правовая система уже имеет все необходимые нормы для работы в области цифрового мошенничества, и очередные законодательные новеллы его не остановят. Нужны только комплексные меры, заключил эксперт.
Ранее мы рассказали, как мошенники используют «поисковое отравление» для обмана пользователей.
Самые важные и оперативные новости — в нашем телеграм-канале «Ямал-Медиа».