В статье рассмотрена задача определения состояния утомления человека на основе анализа графических изображений пупиллограмм с использованием сверточных нейронных сетей. Актуальность исследования обусловлена необходимостью разработки автоматизированных систем мониторинга функционального состояния человека, поскольку состояние утомления может приводить к снижению концентрации внимания, ухудшению работоспособности и повышению вероятности возникновения опасных ситуаций. В качестве исходных данных для анализа использовался собственный экспериментальный набор изображений пупиллограмм объемом 831, разделенных на два класса: Normal (369 изображений) и Deviation (462 изображения). Все изображения получены с помощью программного комплекса определения функционального состояния человека по зрачковой реакции на световое воздействие. Представлены примеры изображений пупиллограмм, соответствующих каждому из классов. В работе проведен сравнительный анализ различных архитектур предобученных сверточных нейронных сетей: ResNet50, InceptionV3, EfficientNetV2 и ConvNeXt. Кроме того, для решения поставленной задачи использована одномерная сверточная нейронная сеть (1D CNN). Произведено ее сравнение с предобученными моделями. Все указанные модели обучались в одинаковых условиях с использованием единых гиперпараметров и методов предобработки данных, что обеспечило корректность получения и сравнения результатов. Оценка качества моделей выполнялась на основе метрик Accuracy, F1-score, а также анализа матрицы ошибок классификации. Особое внимание уделялось ошибкам типа False Negative, поскольку пропуск состояния утомления является критически значимым в задачах мониторинга состояния человека. По результатам исследования установлено, что наиболее эффективной моделью является EfficientNetV2, продемонстрировавшая лучшие показатели качества классификации и отсутствие ошибок типа False Negative. Также было выявлено, что современные архитектуры сверточных нейронных сетей обеспечивают более высокую эффективность по сравнению с более ранними моделями. Использование одномерной сверточной нейронной сети (1D CNN) с преобразованием изображений в одномерные последовательности показало менее высокие результаты, что подтверждает важность сохранения пространственной структуры изображений пупиллограмм при решении задачи классификации. В целом полученные результаты исследования подтвердили целесообразность использования современных сверточных нейронных сетей для решения задачи определения состояния утомления человека на основе анализа изображений пупиллограмм.
The article considers the problem of determining the state of human fatigue based on the analysis of graphical images of pupillograms using convolutional neural networks. The relevance of the study is determined by the need to develop automated systems for monitoring the functional state of a person, since the state of fatigue can lead to a decrease in concentration, a deterioration in performance and an increase in the likelihood of dangerous situations. The initial data for the analysis was our own experimental dataset of pupillogram images, consisting of 831 images, divided into two classes: Normal (369 images) and Deviation (462 images). All images were obtained using a software package for determining the functional state of a person based on the pupillary reaction to light exposure. Examples of pupillogram images corresponding to each of the classes are presented. The paper provides a comparative analysis of various architectures of pre-trained convolutional neural networks: ResNet50, InceptionV3, EfficientNetV2 and ConvNeXt. In addition, a one-dimensional convolutional neural network (1D CNN) was used to solve the problem. It was compared with pre-trained models. All of the models were trained under identical conditions using the same hyperparameters and data preprocessing methods, ensuring the accuracy and comparison of results. Model quality was assessed using the Accuracy and F1-score metrics, as well as an analysis of the classification error matrix. Particular attention was paid to False Negative errors, as missing fatigue is critical in human condition monitoring tasks. The study found that EfficientNetV2 was the most effective model, demonstrating the best classification performance and the absence of False Negative errors. It was also found that modern convolutional neural network architectures provide higher efficiency compared to earlier models. Using a one-dimensional convolutional neural network (1D CNN) with image transformation into one-dimensional sequences yielded lower results, confirming the importance of preserving the spatial structure of pupillogram images when solving the classification problem. Overall, the obtained results of the study confirmed the feasibility of using modern convolutional neural networks for solving the problem of determining human fatigue based on pupillogram image analysis.