Gerçek zamanlı duygu durumu analizi: Derin öğrenme tabanlı akıllı sistem tasarımı

Abstract

Duygu tanıma ve davranış yargısı gibi duyguları anlamanın anahtarı görevini gören yüz ifadelerini anlama, insanların günlük hayatında oldukça değerlidir. Anlık olarak sistemlerde algılanan görüntü ve videodan duyguları tanımak, her ne kadar insanların gözleri için kolay ve önemsiz olsa da makineler için çok doğru bir şekilde algılanması zorlayıcı olup uygulanmasında birçok görüntü işleme tekniği gerektirmektedir. Günümüzde önemli bir yere sahip olan yüz duygu durumu sistemleri, her geçen gün daha çeşitli alanlarda uygulanıp ilgi çekmeye devam etmektedir. Yüz duygu durumu ile birlikte yaş ve cinsiyetin canlı şekilde kameradan belirlenmesinin, birçok potansiyel amaca hizmet edeceği tahmin edildiğinden bu çalışmada canlı kamera görüntüsündeki yüzlerin duygu durumu, cinsiyeti, yaş aralığı ve duygu durumuna bağlı olarak da stres oranı hesaplanmaktadır. Çalışmada veri seti olarak FER2013, FER+ ve UTKFace kullanılmış olup, CNN modellerinden ise özelleştirilmiş CNN modeli, VGG-16, ResNet-50 ve ResNet-152 mimarileri tercih edilmiştir. Elde edilen sonuçlarda en iyi performansı ResNet-50 modeli sağlamıştır. Tüm tahmin edilen anlık durumlar için gerçek hayatta eğitim, sağlık, iş güvenliği, suç tespitleri, ticaret vb. gibi farklı uygulamalarda oluşturulan sistemin kullanımı önceden uyarıcılar oluşturmaya da yardımcı olabilecektir. Hali hazırda uygulanan birçok sistem günlük hayatta mevcut olsa da bu sistemleri aynı anda tek bir çatı altında toplayarak bir adım daha ileriye götürmeyi amaçlayıp bu çalışmayı daha önce literatürde olmayan bir şekilde tamamlamış bulunuyoruz.

Understanding facial expressions, which serve as the key to understanding emotions such as emotion recognition and behavioral judgment, is very valuable in people's daily lives. Although it is easy and insignificant for people's eyes, it is difficult for machines to perceive it accurately and requires many image processing techniques to be applied. Facial emotion recognition systems, which have an important place today, are being applied in various areas and continue to attract attention. Since the prediction of facial emotion with age and gender in live camera captures will serve many potential purposes, in this study, the stress rate is calculated based on the emotional perspectives of the faces in the live camera image. In the study, FER2013, FER+, and UTKFace were used as data sets, and customized CNN model, VGG-16, ResNet-50, and ResNet-152 architectures were preferred among CNN models. In the obtained results, the ResNet-50 model provided the best accuracy performance. All predicted instant situations in real life are able to help in various application areas such as education, health, job security, crime detection, trade, etc. Although many systems that are currently applied exist in daily life, we have completed this study in a way that has not been in the literature before, aiming to take these systems one step further by gathering these systems under one roof at the same time.