Deteksi Bahasa Isyarat Indonesia (SIBI) dengan MediaPipe dan Feedforward Neural Network

Abstract

Penelitian ini bertujuan untuk mengembangkan sistem klasifikasi huruf alfabet dalam Sistem Isyarat Bahasa Indonesia (SIBI) secara real-time menggunakan teknologi pengolahan citra dan kecerdasan buatan. Sistem dibangun melalui pendekatan machine learning pipeline dengan lima tahap utama: pengumpulan data, ekstraksi fitur, pelatihan model, evaluasi model, dan implementasi real-time. Data diperoleh dari Kaggle dan mencakup 24 kelas huruf (kecuali J dan Z), masing-masing terdiri dari 220 gambar. Ekstraksi fitur dilakukan dengan MediaPipe yang menghasilkan 63 fitur numerik dari 21 titik landmark tangan. Model klasifikasi dilatih menggunakan algoritma Feedforward Neural Network (FFNN) dengan dua lapis tersembunyi, fungsi aktivasi ReLU, serta teknik dropout untuk menghindari overfitting. Setelah 100 epoch pelatihan, model mencapai akurasi validasi sebesar 51,23%. Evaluasi menunjukkan beberapa huruf memiliki akurasi tinggi, sementara huruf lain cenderung membingungkan sistem karena bentuk gestur yang mirip. Sistem berhasil diuji secara real-time menggunakan kamera laptop dengan hasil yang menjanjikan. Deteksi huruf A, B, dan D masing-masing memperoleh nilai akurasi 0.98, 0.89, dan 0.94. Hasil ini menunjukkan bahwa kombinasi MediaPipe dan FFNN memberikan hasil akurasi mendekati 1 untuk mengenali bahasa isyarat Indonesia dalam bentuk huruf secara langsung. Penelitian ini menjadi langkah awal menuju sistem penerjemahan SIBI yang lebih menyeluruh dan aplikatif, khususnya dalam mendukung komunikasi bagi penyandang disabilitas.