Американські дослідники розробили складний алгоритм, який вміє розпізнавати параметри нейромережі за згенерованим нею зображенням. Аналізуючи особливості знімка, система визначає архітектуру самої мережі та функцію витрат, яку використовує нейромережа під час навчання. Так алгоритм відрізняє зображення, які створила людина, від штучно створених картинок.

За останні роки нейромережеві алгоритми та штучний інтелект навчилися створювати зображення високої якості, які майже неможливо відрізнити від справжніх фотознімків. Завдяки алгоритмам синтезу мови та текстів нейромережі стають в пригоді зловмисникам, які генерують фейкові зображення. З іншого боку, інші дослідники вдосконалюють алгоритми розпізнавання таких фейків. Наразі ми можемо лише розпізнати сам факт підробки, без загальних деталей. Про те, як працюють алгоритми штучного інтелекту, ми писали у статті «Все, що потрібно знати про штучний інтелект сьогодні».

Що сталося

Дослідники з Facebook та Мічиганського університету створили алгоритм, що може розпізнати тип нейромережі, яка створила фейкове зображення. Завдяки цьому можна пов’язувати різні фейкові відео та фото між собою і відстежувати діяльність зловмисників. Коротко кажучи, якщо фейки про Україну та США поширюються з однаковим цифровим відбитком, довести їхнє походження буде ще легше. 🐖🐕

Сам алгоритм базується на двох модулях: обчисленні унікальних відбитків нейромережевої моделі по фото і калькуляторі, який прораховує архітектуру та функцію витрат.

Модуль-обчислювач приймає на вході знімок, а на виході створює таке саме зображення, але вже із закодованим цифровим відбитком. Це стає можливим завдяки дискретному перетворенню Фур’є, після якого алгоритм відфільтровує низькочастотну складову результату. Насамкінець модуль створює унікальний патерн-відбиток нейромережі, згенерований на основі роботи певної нейромережі.

Спрощена схема роботи алгоритму з двома модулями. Джерело: Facebook AI

Потім відбиток передається на модуль дешифрування нейромережі. Він може визначити понад 15 параметрів алгоритму: шари, блоки, функції витрат тощо. Модуль визначення нейромережі складається з трьох класифікаторів для дискретних параметрів і одного класифікатора безперервних параметрів.

Науковці відібрали 100 популярних нейромережевих алгоритмів для створення штучних знимків людей, об’єктів та рукописних цифр. Самі нейромережі різнилися і за типами: 81 генеративно-змагальна (GAN), 13 варіаційних автокодувальників (VAE) та 6 моделей для змагальних атак (AA). Навчали моделі на датасетах Imagenet та MNIST, по тисячі фотографій з кожного.

Ілюстрований приклад унікального відбитка нейромережі. Джерело: Facebook AI

Оскільки це була перша подібна робота із дослідження відбитків у нейромережах, науковці не мали з чим порівняти ефективність результату. Утім, алгоритм показав задовільну точність:

Порівняння точності роботи алгоритму із випадковими даними. Джерело: arXiv

Чому це важливо

Найперше, знання архітектури та походження фейків допоможе використовувати нейромережі проти нейромереж, розпізнаючи підробки. Дослідники матимуть більше практики та інструментів для розслідування випадків діпфейкової пропаганди.

Напрям розвитку нейромереж також відкриває можливості для нових досліджень та  швидшої роботи алгоритмів. Так, наприклад, ще 2018 року Google Brain змогла навчити нейромережу розпізнавати цифри без перенавчання, адже до цього вона вміла розпізнавати лише тварин.

Коменти