В статье рассмотрена задача распознавания дипфейковых изображений с использованием нейросетевой модели. Проводится обзор современных исследований дипфейков на изображениях, выявляются преимущества и недостатки существующих методов распознавания. Проводится анализ существующих наборов данных (датасетов) реальных изображений и дипфейков, обосновывается выбор наиболее пригодного для обучения, валидации и тестирования нейросетевой модели. В результате анализа наборов данных в качестве исходного набора выбран датасет ArtiFact (Real and Fake Image Dataset), содержащий более 2 миллионов изображений, 19 генераторов изображений и 11 источников реальных изображений. Учитывая ограниченные вычислительные ресурсы среды, решено не использовать найденный датасет полностью, а отобрать необходимые изображения для создания собственных датасетов: final (обучающая, валидационная, тестовая выборки), controlA, controlB. Анализируются архитектуры нейронных сетей для использования в рамках задачи распознавания дипфейковых изображений. Для распознавания дипфейковых изображений использована модель Xception. Размер входного изображения для модели установлен по умолчанию - 299×299. В качестве инструментов обучения нейросетевой модели в работе задействованы облачная среда Google Kolab, локальная среда выполнения кода (Jupyter Notebook), использован язык программирования Python. Проводится обучение нейросетевой модели, подбор оптимального процесса обучения и гиперпараметров модели. Выполнено сравнение двух подходов к распознаванию дипфейковых изображений: модифицированной нейросетевой модели Xception с трансформерным заголовком и ансамбля из четырех моделей (Xception, Efficientnet-B4, ConvNeXt, Swin Transformer.). По результатам анализа выявлено, что модель CNN+tr.head демонстрирует высокие результаты метрик на тестовой выборке (F1 = 0,9105), однако чувствительна к новым типам генераторов, что выражается в падении метрики F1 на контрольной выборке до 0,7414. Ансамблевый подход, напротив, обеспечивает более высокую робастность при распознавании изображений, сгенерированных ранее неизвестными моделями (метрика F1 на контрольной выборке - 0,8082).
This article examines the problem of deepfake image recognition using a neural network model. It provides an overview of modern research on deepfakes in images, identifying the advantages and disadvantages of existing recognition methods. Existing datasets of real images and deepfakes are analyzed, and the choice of the most suitable one for training, validating, and testing the neural network model is substantiated. As a result of the dataset analysis, the ArtiFact (Real and Fake Image Dataset) dataset was selected as the initial set. It contains over 2 million images, 19 image generators, and 11 sources of real images. Given the limited computing resources of the environment, it was decided not to use the entire found dataset, but to select the necessary images to create our own datasets: final (training, validation, test sets), controlA, and controlB. Neural network architectures for use in the deepfake image recognition problem are analyzed. The Xception model is used to recognize deepfake images. The input image size for the model is set by default - 299×299. The Google Kolab cloud environment, a local code execution environment (Jupyter Notebook), and the Python programming language were used to train the neural network model. A neural network model is trained, and the optimal training process and hyperparameters are selected. Two approaches to deepfake image recognition are compared: a modified Xception neural network model with a transformer head and an ensemble of four models (Xception, Efficientnet-B4, ConvNeXt, and Swin Transformer). The analysis revealed that the CNN+tr.head model demonstrates high metric results on the test set (F1 = 0.9105), but is sensitive to new types of generators, resulting in a drop in the F1 metric on the validation set to 0.7414. The ensemble approach, in contrast, provides higher robustness when recognizing images generated by previously unknown models (F1 metric on the validation set is 0.8082).