Herald of Technological University Herald of Technological University ВЕСТНИК ТЕХНОЛОГИЧЕСКОГО УНИВЕРСИТЕТА 3034-4689 98440 10.55421/1998-7072_2024_27_12_158 3. Информатика, вычислительная техника и управление 3. Information teory, computer technology and control 3. Информатика, вычислительная техника и управление NEURAL NETWORK SYSTEM FOR DETERMINING HUMAN DROPPINESS BY FACIAL EXPRESSION НЕЙРОСЕТЕВАЯ СИСТЕМА ОПРЕДЕЛЕНИЯ СОНЛИВОСТИ ЧЕЛОВЕКА ПО ВЫРАЖЕНИЮ ЛИЦА Курбанов Б. Kurbanov B. Катасёв А С Катасёв А С kat_726@mail.ru Катасёва Д В Kataseva D V Зиннуров Б. Р. Zinnurov B. R. Казанский национальный исследовательский технический университет им. А.Н. Туполева Kazan National Research Technical University named after A.N. Tupolev КНИТУ-КАИ ru КНИТУ-КАИ ru Казанский национальный исследовательский технический университет имени А.Н. Туполева Казань Россия Казанский национальный исследовательский технический университет имени А.Н. Туполева Казань Russian Federation 01 08 2025 01 08 2025 27 12 158 164 https://vestniktu.ru/en/nauka/article/98440/view

Статья посвящена разработке нейросетевой системы для определения сонливости человека по выражению лица. Существуют различные системы определения сонливости, отслеживающие манеру вождения человека, физиологические показатели водителя, распознают выражение лица. Однако эти системы часто недоступны для пользователей вследствие дороговизны, что актуализирует необходимость разработки собственной системы. Анализ предметной области показал, что оценка сонливости человека может быть основана на использовании показателей EAR (Eye Aspect Ratio) и MAR (Mouth Aspect Ratio). Первый показатель определяет степень открытости глаз, а второй - степень открытости рта человека. Эти характеристики можно рассчитать путем использования специальной маски лица на изображении с ключевыми точками для обнаружения рта и глаз человека. Алгоритм распознавания сонливости по лицевым характеристикам включает следующие этапы: захват изображения лица, локализация глаз и рта, расчет EAR и MAR, определение пороговых значений, мониторинг и распознавание сонливости. Несмотря на множество приложений, применение этой технологии для определения сонливости человека требует дополнительных исследований. Особую актуальность в этой области приобретает построение и исследование сверточных нейросетевых моделей и систем. Для построения такой системы необходимо подготовить данные для анализа, построить нейросетевую сверточную модель, реализовать графический интерфейс нейросетевой системы и произвести проверку адекватности ее работы. В настоящем исследовании использовались наборы данных Driver Drowsiness Dataset, Drowsiness Prediction Dataset и UTA Real-Life Drowsiness Dataset, полученные из общедоступного источника Kaggle. Для анализа данных использована нейронная сеть YOLO версии v5. При построении нейросетевой модели на платформе Google Colab использовался язык программирования Python. Процесс обучения модели длился в течение 30 эпох. В результате обучения точность определения класса бодрый составила 97,9%, точность определения класса сонливый - 95,7%. Средняя точность модели составила 96,8%, что является высоким результатом. На основе построенной модели в среде Visual Studio разработана нейросетевая система. Для ее разработки использован язык программирования Python. Для оценки эффективности разработанной системы проведена ее валидация с использованием следующих метрик качества классификации: точности, полноты, F1-меры и меткости. Результаты валидации показали, что система достаточно точно классифицирует большинство случаев состояния сонливости и бодрости человека. Это указывает на ее эффективность и возможность решения практических задач.

The article is devoted to the development of a neural network system for determining human drowsiness by facial expression. There are various drowsiness detection systems that track a person's driving style, driver's physiological indicators, and recognize facial expressions. However, these systems are often unavailable to users due to their high cost, which makes it necessary to develop our own system. The analysis of the subject area showed that human drowsiness assessment can be based on the use of EAR (Eye Aspect Ratio) and MAR (Mouth Aspect Ratio) indicators. The first indicator determines the degree of eye openness, and the second determines the degree of mouth openness. These characteristics can be calculated by using a special face mask on an image with key points to detect a person's mouth and eyes. The algorithm for recognizing drowsiness by facial characteristics includes the following steps: capturing a face image, localizing the eyes and mouth, calculating EAR and MAR, determining threshold values, monitoring and recognizing drowsiness. Despite many applications, the use of this technology to determine human drowsiness requires additional research. Of particular relevance in this area is the construction and study of convolutional neural network models and systems. To build such a system, it is necessary to prepare data for analysis, build a neural network convolutional model, implement a graphical interface for the neural network system and check the adequacy of its operation. In this study, we used the Driver Drowsiness Dataset, Drowsiness Prediction Dataset and UTA Real-Life Drowsiness Dataset obtained from the publicly available Kaggle source. The YOLO neural network version v5 was used to analyze the data. When building a neural network model on the Google Colab platform, the Python programming language was used. The model training process lasted for 30 epochs. As a result of training, the accuracy of determining the vigorous class was 97.9%, the accuracy of determining the sleepy class was 95.7%. The average accuracy of the model was 96.8%, which is a high result. Based on the constructed model, a neural network system was developed in the Visual Studio environment. The Python programming language was used for its development. To evaluate the effectiveness of the developed system, it was validated using the following classification quality metrics: accuracy, recall, F1-measure and precision. The results of the validation showed that the system classifies most cases of human drowsiness and alertness quite accurately. This indicates its effectiveness and the possibility of solving practical problems.

 НЕЙРОННАЯ СЕТЬ НЕЙРОСЕТЕВАЯ СВЕРТОЧНАЯ МОДЕЛЬ НЕЙРОСЕТЕВАЯ СИСТЕМА ОПРЕДЕЛЕНИЕ СОНЛИВОСТИ ЧЕЛОВЕКА КОМПЬЮТЕРНОЕ ЗРЕНИЕ NEURAL NETWORK SYSTEM FOR DETERMINING HUMAN DROPPINESS BY FACIAL EXPRESSION