Pengembangan Sistem Monitoring Emosi Berbasis Facial Expression Recognition Menggunakan Algoritma MTCNN dan MobileNetV2
Keywords:
Facial Expression Recognition, MobileNetV2, MTCNN, Monitoring Emosi, Deep LearningAbstract
Gangguan kesehatan mental menjadi salah satu permasalahan global yang terus meningkat, sementara keterbatasan tenaga profesional menyebabkan proses pemantauan kondisi emosional belum dapat dilakukan secara optimal. Penelitian ini bertujuan mengembangkan sistem Monitoring Kondisi Emosi Pengguna berbasis Artificial Intelligence (AI) menggunakan metode Facial Expression Recognition (FER) untuk membantu pemantauan emosi secara otomatis dan real-time. Sistem memanfaatkan algoritma Multi-task Cascaded Convolutional Networks (MTCNN) untuk mendeteksi wajah dan model MobileNetV2 untuk mengklasifikasikan ekspresi wajah ke dalam tujuh kategori emosi, yaitu angry, disgust, fear, happy, neutral, sad, dan surprise. Model dilatih menggunakan dataset FER-2013 yang terdiri dari 35.887 citra wajah, kemudian diimplementasikan pada aplikasi berbasis webcam. Hasil evaluasi menunjukkan bahwa model memperoleh akurasi sebesar 41%, dengan weighted precision sebesar 45%, weighted recall sebesar 41%, dan weighted F1-score sebesar 40%. Pengujian implementasi menunjukkan bahwa sistem mampu mendeteksi wajah, melakukan klasifikasi emosi secara otomatis, serta menampilkan hasil prediksi beserta tingkat kepercayaannya (confidence score) secara real-time. Penelitian ini menunjukkan bahwa kombinasi metode FER, algoritma MTCNN, dan model MobileNetV2 dapat diterapkan sebagai solusi awal untuk mendukung monitoring kondisi emosi pengguna secara otomatis. Pengembangan lebih lanjut diperlukan untuk meningkatkan akurasi model melalui optimasi algoritma, penambahan dataset, dan penyempurnaan proses pelatihan.
References
[1] A. N. Faidah, T. Sugiati, M. D. Firzatullah, M. H. Fauzan, M. Rifqi Ramadhan, M. F. N. Aflah, and M. R. Alfarazy, "Sosialisasi Kesehatan Jiwa Raga untuk Peningkatan Kualitas Hidup dan Produktivitas," Jurnal Pengabdian Masyarakat (JUDIMAS), vol. 2, no. 2, 2024.
[2] F. Nadira, "WHO: Lebih dari 1 Miliar Orang Hidup dengan Gangguan Mental Health," CNBC Indonesia, Sep. 3, 2025. [Online].
[3] Kementerian Kesehatan Republik Indonesia, Profil Kesehatan Indonesia 2023. Jakarta, Indonesia: Kementerian Kesehatan RI, 2024. [Online].
[4] N. A. Wirawan, "15,5 Juta Remaja Indonesia Mengalami Masalah Kesehatan Mental," GoodStats, Oct. 30, 2024. [Online].
[5] D. R. D. Putri, M. R. Fahlevi, F. A. Putri, R. O. Batubara, E. Syahrin, and M. A. Novanda, "Analisis Evidence Psikologis untuk Klasifikasi Gangguan Kesehatan Mental Menggunakan Metode Dempster-Shafer," Jurnal Informatika dan Teknik Elektro Terapan (JITET), vol. 14, no. 1, Jan. 2026, doi: 10.23960/jitet.v14i1.8958
[6] S. K. Nisa, R. R. M. Putri, and B. H. Prasetio, "Sistem Monitoring Kondisi Emosi pada Sesi Konseling Menggunakan Face Recognition Berbasis Landmark dan Multi Layer Perceptron (MLP)," Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 9, no. 11, Nov. 2025.
[7] Y. L. Rachmawati, Validitas Reliabilitas Kuesioner dan Pemeriksa pada Penelitian Kesehatan. Malang, Indonesia: UB Press, 2024.
[8] I. Ekawati, F. N. R. Putra, M. Sumadyo, and R. N. Whidhiasih, "Deteksi Emosi Menggunakan Convolutional Neural Network Berdasarkan Ekspresi Wajah," Journal of Scientific Research, Computer Science (JSRCS), vol. 5, no. 1, pp. 73-82, May 2024, doi: 10.31599/h0kayy31.
[9] M. Anggraeni and H. A. Damanik, "Implementasi Arsitektur MTCNN pada Kelas Dimensi Piksel Berbeda dan Plotting Multi-Wajah pada Hasil Deteksi," Jurnal Pekommas, vol. 10, no. 1, pp. 91-103, Jun. 2025
[10] R. Rahman, S. Maharani, M. I. Toni, K. Rizal, Susliansyah, and R. Hidayat, "Implementasi MobileNetV2 untuk Aplikasi Edukasi Sejarah Monumen Nasional Berbasis Computer Vision," Jurnal Sistem Informasi dan Sistem Komputer, vol. 11, no. 1, Jan. 2026, doi: 10.51717/simkom.v11i1.1200.
[11] M. Husna, K. Ketaren, S. Faza, O. B. Tumanggor, and A. Aswani, "Sistem Absensi Berbasis Deteksi Wajah dengan Pendekatan Eksperimen," INSOLOGI: Jurnal Sains dan Teknologi, vol. 4, no. 6, pp. 1535-1544, Dec. 2025, doi: 10.55123/insologi.v4i6.6700.
[12] Nabila, R. Rahmanda, and D. Oktaviany, "Implementasi Arsitektur MobileNetV2 untuk Klasifikasi Penyakit pada Daun Cabai Berbasis Convolutional Neural Network," JIK: Jurnal Ilmu Komputer, vol. 10, no
