Perbandingan Kinerja SVM dan
Keywords:
Aspect-Based Sentiment Analysis (ABSA), Support Vector Machine (SVM), Multi-Layer Perceptron (MLP), Ulasan Pengguna, Shopee, Google Play StoreAbstract
Dominasi Shopee di pasar e-commerce Indonesia punya konsekuensi langsung, yakni ulasan penggunanya di Google Play Store menumpuk terlalu cepat untuk dibaca dan dikategorikan satu per satu. Penelitian ini menguji apakah SVM atau MLP lebih cocok menjalankan Aspect-Based Sentiment Analysis (ABSA) terhadap 290.338 ulasan Shopee yang terkumpul sepanjang 2025. Teksnya dibersihkan, dilabeli ke lima aspek layanan, lalu diubah jadi representasi TF-IDF sebelum dataset dibagi 80:20 untuk pelatihan dan pengujian. Ada lima model yang dibandingkan dengan empat kernel SVM (Linear, Polynomial, RBF, Sigmoid) dan satu MLP. Sigmoid unggul tipis dengan akurasi 79,9%, diikuti RBF (79,2%), Linear (78,0%), Polynomial (76,4%), dan MLP di posisi terakhir dengan 75,56%. Satu masalah yang sama muncul di kelima model, yakni sentimen netral paling sulit dikenali, kerap tertukar dengan positif atau negatif, dan ini terlihat konsisten di seluruh confusion matrix. Hasilnya cukup jelas, SVM, khususnya kernel Sigmoid, lebih unggul untuk ABSA pada ulasan Shopee dibanding MLP. Adapun dari sisi sentimen itu sendiri, opini pengguna terhadap aplikasi ini didominasi kesan positif.
References
[1] . Cleaning, yaitu menghapus URL, emoji, tanda baca, angka, dan karakter khusus
[2] . Tokenization, yaitu memisahkan kalimat menjadi kumpulan kata
[3] . Stopword Removal, yaitu menghapus kata-kata umum yang tidak memiliki makna penting
[4] . Stemming, yaitu mengubah kata berimbuhan menjadi kata dasar menggunakan algoritma stemming bahasa Indonesia
[5] . Hasil tahap ini berupa teks yang bersih dan siap digunakan pada proses pelabelan maupun ekstraksi fitur. 3. Pelabelan dan Aspek Pada tahap ini dilakukan identifikasi aspek yang menjadi fokus analisis sentimen berdasarkan isi ulasan pengguna. Aspek yang digunakan misalnya: Kepuasan/Keluhan Umum Performa dan Stabilitas Layanan dan Dukungan Kualitas Fitur UI/UX Selanjutnya setiap ulasan diberi label sentimen pada masing-masing aspek menjadi positif, negatif, atau netral Proses pelabelan dilakukan secara manual berdasarkan pedoman anotasi sehingga menghasilkan dataset berlabel yang digunakan dalam proses pembelajaran model. 4. Ekstraksi Fitur Data teks yang telah dipra-pemroses kemudian diubah menjadi representasi numerik menggunakan metode Term Frequency–Inverse Document Frequency (TF-IDF)
[6] . Metode ini menghitung bobot setiap kata berdasarkan frekuensi kemunculannya pada dokumen dan keseluruhan korpus sehingga mampu menghasilkan fitur yang lebih representatif untuk proses klasifikasi. 5. Pembagian Data Dataset dibagi menjadi data latih (training set) dan data uji (testing set) menggunakan perbandingan, misalnya 80:20
[7] . Data latih digunakan untuk membangun model klasifikasi, sedangkan data uji digunakan untuk mengevaluasi kemampuan model dalam mengklasifikasikan data yang belum pernah dipelajari sebelumnya
[8] . 6. Pemodelan Pada tahap ini dilakukan pembangunan dua model klasifikasi, yaitu Support Vector Machine (SVM) dan Multi-Layer Perceptron (MLP), untuk membandingkan kinerja keduanya dalam melakukan Analisis Sentimen Berbasis Aspek pada ulasan aplikasi Shopee. Model Support Vector Machine (SVM) dipilih karena memiliki kemampuan yang baik dalam menyelesaikan permasalahan klasifikasi teks, terutama pada data berdimensi tinggi seperti hasil ekstraksi fitur TF-IDF. SVM bekerja dengan membangun sebuah hyperplane optimal yang mampu memisahkan data dari setiap kelas sentimen dengan margin maksimum, sehingga diperoleh batas keputusan (decision boundary) yang memberikan kemampuan generalisasi yang lebih baik terhadap data baru. Apabila data tidak dapat dipisahkan secara linear, SVM dapat memanfaatkan fungsi kernel untuk memetakan data ke ruang berdimensi yang lebih tinggi sehingga proses pemisahan antar kelas menjadi lebih efektif. Pada penelitian ini, model SVM dilatih menggunakan data latih yang telah melalui tahapan pra-pemrosesan, pelabelan aspek, dan ekstraksi fitur TF-IDF untuk mempelajari pola sentimen pada setiap aspek ulasan. Gambar 2. Arsitektur SVM MLP digunakan sebagai model jaringan saraf tiruan (Artificial Neural Network) yang terdiri atas lapisan masukan (input layer), satu atau lebih lapisan tersembunyi (hidden layer), dan lapisan keluaran (output layer)
[9] . MLP memiliki kemampuan untuk mempelajari hubungan yang kompleks dan bersifat nonlinier antarfitur melalui proses propagasi maju (forward propagation) dan pembaruan bobot menggunakan algoritma backpropagation. Pada penelitian ini, representasi fitur hasil ekstraksi TF-IDF digunakan sebagai masukan bagi model MLP untuk mempelajari pola sentimen pada setiap aspek ulasan aplikasi Shopee. Melalui proses pelatihan yang dilakukan secara iteratif, model MLP mengoptimalkan bobot setiap neuron sehingga mampu menghasilkan klasifikasi sentimen yang akurat Gambar 3. Arsitektur MLP 7. Evaluasi Model Kinerja kedua model dievaluasi menggunakan Confusion Matrix sehingga diperoleh nilai: Accuracy Accuracy merupakan metrik yang menunjukkan tingkat ketepatan model dalam mengklasifikasikan seluruh data uji. Nilai ini dihitung berdasarkan proporsi jumlah prediksi yang benar terhadap total data yang diuji. Berikut merupakan rumus yang digunakan untuk menghitung nilai accuracy (TP+TN)/(TP+FP+FN+TN). Semakin tinggi nilai accuracy, semakin baik kemampuan model dalam melakukan klasifikasi secara keseluruhan. Namun, metrik ini kurang representatif apabila dataset yang digunakan tidak seimbang (imbalanced dataset). Precision Precision mengukur tingkat ketepatan model dalam memberikan prediksi positif. Rumus yang digunakan untuk menghitung precision adalah (TP)/(TP+FP). Metrik ini menunjukkan seberapa banyak data yang diprediksi sebagai suatu kelas sentimen benar-benar termasuk ke dalam kelas tersebut. Nilai precision yang tinggi mengindikasikan bahwa model memiliki tingkat kesalahan prediksi positif (false positive) yang rendah. Recall Recall mengukur kemampuan model dalam menemukan seluruh data yang benar-benar termasuk ke dalam suatu kelas sentimen. Nilai recall menunjukkan seberapa banyak data positif yang berhasil dikenali oleh model dibandingkan dengan seluruh data positif yang sebenarnya. Semakin tinggi nilai recall, semakin kecil kemungkinan model gagal mengenali data positif (false negative). Berikut merupakan rumus yang digunakan (TP)/(TP+FN). F1-Score F1-Score merupakan nilai yang menggabungkan precision dan recall melalui rata-rata harmonik sehingga memberikan ukuran performa model yang lebih seimbang. Rumus yang digunakan, yakni 2×(Recall×Precission)/(Recall+ Precission). Metrik ini sangat berguna ketika dataset memiliki distribusi kelas yang tidak seimbang, karena mampu menggambarkan keseimbangan antara ketepatan prediksi dan kemampuan model dalam mengenali seluruh data pada setiap kelas. Keempat metrik tersebut digunakan untuk membandingkan kinerja Support Vector Machine (SVM) dan Multi-Layer Perceptron (MLP) dalam melakukan Analisis Sentimen Berbasis Aspek. Model dengan nilai Accuracy, Precision, Recall, dan F1-Score yang lebih tinggi dapat dikatakan memiliki performa klasifikasi yang lebih baik dalam mengidentifikasi sentimen pada ulasan aplikasi Shopee di Google Play Store. Gambar 4. Confusion Matrix Selain itu, Confusion matrix ditunjukkan pada Gambar 4. Confusion matrix merupakan representasi visual yang digunakan untuk mengevaluasi performa model klasifikasi dengan membandingkan hasil prediksi model terhadap label aktual. Melalui confusion matrix, dapat diketahui jumlah prediksi yang benar maupun salah pada setiap kategori kelas, seperti True Positive (TP), True Negative (TN), False Positive (FP), dan False Negative (FN). Visualisasi ini memberikan informasi yang lebih rinci mengenai kemampuan model dalam mengklasifikasikan data dibandingkan hanya melihat nilai accuracy saja. Selain itu, confusion matrix sangat berguna dalam penelitian dengan dataset yang tidak seimbang (imbalanced dataset), karena mampu menunjukkan performa model pada masing-masing kelas, termasuk kelas minoritas yang sering kali sulit dikenali oleh model. Dengan demikian, analisis menggunakan confusion matrix dapat membantu dalam memahami kelebihan dan kelemahan model klasifikasi secara lebih mendalam. Hasil dan Pembahasan Gambar 5. Jumlah Data Ulasan Aplikasi Shopee Gambar 5 menunjukkan jumlah data ulasan aplikasi Shopee yang dikumpulkan sepanjang tahun 2025 berdasarkan periode bulanan. Sumbu horizontal (X) merepresentasikan bulan pengambilan data, sedangkan sumbu vertikal (Y) menunjukkan jumlah ulasan yang berhasil dikumpulkan pada setiap bulan. Berdasarkan visualisasi, jumlah ulasan mengalami fluktuasi sepanjang tahun. Bulan Maret mencatat jumlah ulasan tertinggi sebanyak 46.367 ulasan, diikuti oleh Juli sebanyak 44.392 ulasan, yang mengindikasikan tingginya aktivitas pengguna pada periode tersebut. Sebaliknya, bulan Desember memiliki jumlah ulasan terendah, yaitu 15.926 ulasan, jauh lebih rendah dibandingkan bulan-bulan lainnya. Penurunan ini dapat disebabkan oleh keterbatasan periode pengambilan data atau berkurangnya aktivitas pengguna pada saat data dikumpulkan. Secara umum, sebagian besar bulan memiliki jumlah ulasan yang relatif stabil, berada pada rentang 31.000–46.000 ulasan. Kondisi ini menunjukkan bahwa aplikasi Shopee memperoleh tingkat interaksi pengguna yang konsisten sepanjang tahun. Tingginya jumlah ulasan pada beberapa bulan tertentu dapat mencerminkan adanya peningkatan transaksi, promosi besar-besaran, atau momentum belanja daring yang mendorong pengguna untuk memberikan umpan balik terhadap layanan aplikasi. Dari perspektif analisis data, distribusi jumlah ulasan yang cukup besar dan tersebar di hampir seluruh bulan menunjukkan bahwa dataset memiliki cakupan temporal yang baik, sehingga dapat digunakan untuk analisis sentimen yang lebih representatif. Selain itu, variasi jumlah ulasan antara bulan memungkinkan peneliti untuk mengidentifikasi pola perubahan opini pengguna serta mengevaluasi pengaruh faktor musiman terhadap persepsi pengguna terhadap aplikasi Shopee. Gambar 6. Distribusi Hasil Sentimen Gambar 6 menunjukkan distribusi hasil analisis sentimen terhadap ulasan atau data terkait aplikasi Shopee pada tahun 2025. Hasil klasifikasi sentimen dibagi ke dalam tiga kategori, yaitu sentimen positif, negatif, dan netral. Berdasarkan grafik, sentimen positif mendominasi dengan jumlah 216.917 data (74,71%), diikuti oleh sentimen negatif sebanyak 61.767 data (21,27%), dan sentimen netral sebanyak 11.663 data (4,02%). Dominasi sentimen positif menunjukkan bahwa sebagian besar pengguna memberikan tanggapan yang baik terhadap aplikasi Shopee. Tingginya proporsi sentimen positif mengindikasikan bahwa pengguna umumnya merasa puas terhadap layanan, fitur, kemudahan penggunaan aplikasi, maupun pengalaman berbelanja yang diberikan. Kondisi ini mencerminkan persepsi yang positif terhadap kualitas layanan Shopee secara keseluruhan. Di sisi lain, keberadaan sentimen negatif yang mencapai 21,27% menunjukkan bahwa masih terdapat sejumlah pengguna yang mengalami ketidakpuasan. Sentimen negatif tersebut dapat berkaitan dengan berbagai aspek, seperti kendala teknis aplikasi, keterlambatan pengiriman, masalah transaksi, kualitas layanan pelanggan, maupun pengalaman penggunaan yang kurang memuaskan. Meskipun persentasenya lebih rendah dibandingkan sentimen positif, jumlah ini tetap perlu menjadi perhatian karena dapat memengaruhi kepuasan dan loyalitas pengguna. Sementara itu, sentimen netral memiliki proporsi paling kecil, yaitu 4,02%. Hal ini menunjukkan bahwa sebagian besar pengguna cenderung memberikan opini yang jelas, baik berupa apresiasi maupun kritik, dibandingkan memberikan komentar yang bersifat informatif atau tanpa muatan sentimen yang kuat. Secara keseluruhan, hasil analisis sentimen menunjukkan bahwa persepsi pengguna terhadap aplikasi Shopee pada tahun 2025 didominasi oleh sentimen positif. Temuan ini mengindikasikan bahwa Shopee memiliki tingkat penerimaan dan kepuasan pengguna yang relatif tinggi. Namun demikian, perusahaan tetap perlu memperhatikan berbagai keluhan yang tercermin dalam sentimen negatif guna meningkatkan kualitas layanan dan mempertahankan kepercayaan pengguna di tengah persaingan industri e-commerce yang semakin ketat. Gambar 7. Wordcloud Gambar 7 merupakan word cloud yang menampilkan kata-kata yang paling sering muncul dalam ulasan pengguna aplikasi Shopee. Ukuran kata menunjukkan frekuensi kemunculan, sehingga semakin besar ukuran kata, semakin dominan kata tersebut dalam ulasan. Hasil visualisasi menunjukkan bahwa kata “Shopee” menjadi kata yang paling dominan, diikuti oleh kata-kata positif seperti “sangat”, “membantu”, “bagus”, “mudah”, dan “cepat”, yang mengindikasikan tingkat kepuasan pengguna yang relatif tinggi terhadap layanan aplikasi. Frasa “belanja online” dan “gratis ongkir” juga sering muncul, menunjukkan bahwa Shopee dipandang sebagai platform belanja daring yang menarik, terutama karena program gratis ongkos kirim. Di sisi lain, kemunculan kata-kata seperti “tidak bisa”, “gak bisa”, dan “tidak ada” menunjukkan masih adanya keluhan pengguna terkait aspek teknis atau layanan tertentu. Selain itu, kata “barang”, “pesanan”, dan “pengiriman” mengindikasikan bahwa banyak ulasan berfokus pada kualitas produk, proses transaksi, dan layanan logistik. Secara keseluruhan, word cloud menunjukkan bahwa sentimen positif lebih dominan dibandingkan sentimen negatif, meskipun masih terdapat beberapa aspek layanan yang perlu ditingkatkan untuk meningkatkan pengalaman pengguna aplikasi Shopee. Gambar 8. Jumlah Data Latih dan Data Uji Gambar 8 menampilkan distribusi data yang digunakan dalam proses pemodelan machine learning, yaitu pembagian antara data latih (training data) dan data uji (testing data). Dari total 290.338 data, sebanyak 232.270 data (80%) digunakan sebagai data latih, sedangkan 58.068 data (20%) digunakan sebagai data uji. Pembagian data dengan rasio 80:20 merupakan pendekatan yang umum digunakan dalam penelitian klasifikasi dan analisis sentimen. Data latih digunakan untuk membangun model serta mempelajari pola dan karakteristik dari data yang tersedia. Melalui proses pelatihan ini, algoritma dapat menyesuaikan parameter model sehingga mampu mengenali hubungan antara fitur dan kelas yang diprediksi. Sementara itu, data uji digunakan untuk mengevaluasi kinerja model setelah proses pelatihan selesai. Data ini tidak pernah digunakan selama proses pembelajaran, sehingga dapat memberikan gambaran yang objektif mengenai kemampuan model dalam melakukan prediksi terhadap data baru. Evaluasi pada data uji penting untuk mengukur tingkat generalisasi model dan menghindari terjadinya overfitting, yaitu kondisi ketika model memiliki performa sangat baik pada data latih tetapi kurang mampu memprediksi data yang belum pernah dilihat sebelumnya. Berdasarkan gambar, proporsi data latih yang lebih besar dibandingkan data uji menunjukkan bahwa model memperoleh jumlah data yang memadai untuk proses pembelajaran, sementara data uji tetap cukup representatif untuk melakukan evaluasi kinerja. Dengan demikian, pembagian data sebesar 80% untuk pelatihan dan 20% untuk pengujian diharapkan mampu menghasilkan model yang optimal serta memberikan hasil evaluasi yang reliabel dan valid. Gambar 9. Confusion Matrix SVM Polynomial Gambar 9 menampilkan confusion matrix ter-normalisasi dari model SVM dengan kernel Polynomial pada tugas klasifikasi sentimen yang terdiri atas tiga kelas, yaitu Negatif, Netral, dan Positif. Normalisasi dilakukan per baris, sehingga setiap nilai menunjukkan proporsi data pada kelas aktual yang diprediksi ke masing-masing kelas. Model berhasil mengklasifikasikan 72% data sentimen negatif sebagai negatif, 79% data sentimen netral sebagai netral, dan 77% data sentimen positif sebagai positif. Kelas Negatif justru menjadi kelas dengan tingkat pengenalan terendah pada kernel ini (72%), dengan 25% data salah diprediksi sebagai Netral. Pola ini berkaitan dengan cara kerja kernel Polynomial, yang membentuk decision boundary melalui kombinasi perkalian antarfitur hingga derajat tertentu. Pada representasi TF-IDF yang berdimensi tinggi dan sangat sparse, interaksi perkalian semacam ini cenderung menonjolkan kata-kata yang sering muncul bersama, bukan pola pembeda yang halus antara ulasan negatif eksplisit dan ulasan yang sekadar menyampaikan keluhan ringan atau saran perbaikan tanpa kata bermuatan negatif kuat. Akibatnya, ulasan negatif yang disampaikan dengan nada moderat lebih mudah "tertarik" ke wilayah keputusan kelas Netral. Menariknya, kelas Netral pada kernel Polynomial justru mencapai pengenalan tertinggi (79%) dibandingkan kelas lain pada kernel ini, bahkan lebih tinggi dibandingkan pengenalan Netral pada kernel RBF (76%, Gambar 10). Hal ini kemungkinan disebabkan oleh sifat global dari kernel Polynomial, kombinasi fitur derajat tinggi mampu menangkap pola frasa gabungan, misalnya kombinasi kata deskriptif tanpa polaritas kuat yang menjadi ciri khas ulasan netral, sehingga model lebih percaya diri menempatkan data pada kelas ini. Namun, generalisasi yang terlalu global ini menjadi bumerang untuk kelas Negatif dan Positif, karena batas antarkelas yang dibentuk menjadi kurang tajam dan rentan terhadap tumpang tindih kosakata, yang pada akhirnya menjelaskan mengapa akurasi keseluruhan kernel Polynomial (76,4%) menjadi yang terendah di antara seluruh kernel SVM yang diuji. Secara keseluruhan, confusion matrix ini menunjukkan bahwa performa SVM Polynomial masih cukup baik, ketepatan tiap kelas di atas 70%, tetapi kelemahannya terletak pada kecenderungan kernel ini menyederhanakan batas antarkelas secara global, sehingga kurang sensitif terhadap perbedaan intensitas sentimen yang bersifat lokal, sebuah keterbatasan yang dapat diperbaiki melalui tuning derajat polinomial atau penambahan fitur n-gram yang lebih menangkap konteks lokal kalimat. Gambar 10. Confusion Matrix SVM RBF Gambar 10 menampilkan confusion matrix ter-normalisasi dari model SVM dengan kernel Radial Basis Function (RBF). Model berhasil mengklasifikasikan 80% data sentimen negatif sebagai negatif, 76% data sentimen netral sebagai netral, dan 83% data sentimen positif sebagai positif, hasil yang secara konsisten lebih unggul dibandingkan kernel Polynomial pada kelas Negatif dan Positif. Keunggulan ini sejalan dengan karakteristik kernel RBF, yang mengukur kemiripan antardata berdasarkan jarak, bukan interaksi perkalian fitur seperti Polynomial, dan membentuk decision boundary yang bersifat lokal di sekitar kelompok data yang padat. Ulasan positif maupun negatif pada dataset ini cenderung menggunakan kosakata yang relatif seragam dan berulang, misalnya kata-kata pujian atau keluhan yang eksplisit, sehingga membentuk klaster yang rapat dalam ruang fitur TF-IDF. Kernel RBF sangat efektif memisahkan klaster-klaster padat semacam ini, yang menjelaskan mengapa kelas Positif memperoleh pengenalan tertinggi (83%) dan kelas Negatif meningkat signifikan dibanding kernel Polynomial (80% vs 72%). Namun, keunggulan lokal ini justru menjadi kelemahan pada kelas Netral (76%, lebih rendah dari Polynomial). Data netral hanya berjumlah 4,02% dari keseluruhan dataset, sehingga klaster netral dalam ruang fitur jauh lebih jarang dan tersebar dibandingkan klaster positif maupun negatif. Karena kernel RBF sangat bergantung pada kepadatan lokal data di sekitar suatu titik, area keputusan untuk kelas minoritas ini menjadi rentan "tertelan" oleh wilayah keputusan kelas mayoritas di sekitarnya. Inilah yang menjelaskan mengapa 11% data netral justru terprediksi sebagai Positif dan 13% sebagai Negatif, proporsi kesalahan yang lebih tinggi dibandingkan kernel Polynomial yang bersifat lebih global dan kurang sensitif terhadap ketimpangan kepadatan data antarkelas. Secara keseluruhan, perbandingan Gambar 9 dan Gambar 10 menunjukkan adanya trade-off mendasar antara dua pendekatan kernel: Polynomial lebih unggul dalam mengenali kelas minoritas (Netral) karena sifat globalnya, sementara RBF lebih unggul secara agregat karena mampu memanfaatkan kepadatan klaster pada kelas mayoritas (Negatif dan Positif). Akurasi total RBF yang lebih tinggi (79,2% vs 76,4%) mengindikasikan bahwa pada dataset ini, ketajaman pemisahan klaster padat lebih berpengaruh terhadap akurasi keseluruhan dibandingkan kemampuan menangani kelas minoritas, sebuah temuan yang relevan untuk penelitian lanjutan yang ingin menyeimbangkan performa antarkelas, misalnya melalui pembobotan kelas (class weighting) atau oversampling data netral sebelum pelatihan model. Gambar 11. Confusion Matrix SVM Sigmoid Gambar 11 menampilkan confusion matrix ter-normalisasi dari model (SVM) dengan kernel Sigmoid untuk klasifikasi sentimen ke dalam tiga kelas, yaitu Negatif, Netral, dan Positif. Setiap nilai menunjukkan proporsi data aktual yang diprediksi ke masing-masing kelas. Nilai diagonal utama merepresentasikan klasifikasi benar (true classification), sedangkan nilai di luar diagonal menunjukkan kesalahan (misclassification). Matriks ini tidak hanya menggambarkan distribusi prediksi, tetapi juga mencerminkan kemampuan kernel Sigmoid dalam membentuk batas keputusan pada data teks yang bersifat non-linear. Berdasarkan hasil yang ditampilkan, model menunjukkan tingkat klasifikasi yang relatif tinggi pada ketiga kelas. Hal ini mengindikasikan bahwa kernel Sigmoid cukup efektif dalam menangkap pola non-linear pada data sentimen. Pada kelas Negatif, kesalahan yang dominan ke arah Netral menunjukkan bahwa model masih kesulitan membedakan sentimen negatif dengan intensitas lemah, yang umumnya memiliki kemiripan fitur linguistik dengan kalimat netral. Pada kelas Netral, distribusi kesalahan ke arah Negatif dan Positif mencerminkan sifat kelas ini yang berada di tengah, sehingga secara alami memiliki overlap dengan kedua kelas lainnya. Sementara itu, pada kelas Positif, model menunjukkan performa terbaik mampu mengidentifikasi 82% data dengan benar. Hasil ini menunjukkan bahwa model cukup efektif dalam membedakan sentimen positif dari sentimen negatif, meskipun masih terdapat sebagian data positif yang dianggap netral karena intensitas sentimennya tidak terlalu kuat. Jika dibandingkan dengan kernel SVM lainnya, confusion matrix ini menunjukkan performa yang konsisten dan seimbang pada seluruh kelas. Tingkat pengenalan tertinggi diperoleh pada kelas Positif (82%), diikuti oleh Netral (79%) dan Negatif (78%). Pola ini menunjukkan bahwa model lebih mudah membedakan polaritas ekstrem (Negatif dan Positif) dibandingkan dengan sentimen yang bersifat moderat. Secara keseluruhan, hasil confusion matrix tidak hanya menunjukkan tingkat akurasi, tetapi juga mengungkap bahwa keberhasilan model dipengaruhi oleh kesesuaian antara karakteristik data dan jenis kernel yang digunakan, yang sejalan dengan hasil evaluasi akurasi sebesar 79,9%, yaitu nilai akurasi tertinggi dibandingkan kernel SVM lainnya. Temuan ini menunjukkan bahwa kernel Sigmoid mampu memodelkan hubungan non-linier pada data teks secara efektif sehingga dapat menghasilkan performa klasifikasi sentimen yang lebih optimal pada ulasan pengguna aplikasi Shopee. Gambar 12. Confusion Matrix SVM Linear Gambar 12 menampilkan confusion matrix ter-normalisasi (normalized confusion matrix) dari model SVM dengan kernel Linear yang digunakan untuk mengklasifikasikan sentimen ke dalam tiga kategori, yaitu Negatif, Netral, dan Positif. Normalisasi per baris dilakukan sehingga setiap nilai menunjukkan proporsi data pada kelas aktual yang diprediksi ke masing-masing kelas. Nilai pada diagonal utama menunjukkan tingkat klasifikasi yang benar untuk setiap kelas sentimen. Model berhasil mengidentifikasi 79% data sentimen negatif sebagai negatif, 75% data sentimen netral sebagai netral, dan 80% data sentimen positif sebagai positif. Hasil ini menunjukkan bahwa model memiliki kemampuan yang cukup baik dalam mengenali ketiga kategori sentimen, dengan performa terbaik pada kelas positif. Kesalahan klasifikasi yang terjadi menunjukkan pola yang cukup konsisten, yaitu dominasi kesalahan antara kelas netral dengan dua kelas lainnya. Hal ini disebabkan oleh karakteristik sentimen netral yang cenderung ambigu dan berada di antara sentimen positif dan negatif. Dalam banyak kasus, teks netral mengandung kata-kata yang tidak memiliki muatan emosi yang kuat atau bahkan mengandung campuran kata positif dan negatif, sehingga batas antar kelas menjadi tidak tegas. Akibatnya, model kesulitan dalam menentukan keputusan klasifikasi yang tepat, terutama ketika menggunakan pendekatan linear yang memiliki keterbatasan dalam menangkap hubungan kompleks antar fitur. Dari sisi metode, performa SVM Linear yang sedikit lebih rendah dibandingkan kernel non-linear seperti RBF dan Sigmoid menunjukkan bahwa data sentimen yang digunakan tidak sepenuhnya bersifat linear separable. Kernel linear hanya mampu membentuk batas keputusan berupa garis lurus (hyperplane) di ruang fitur, sehingga kurang fleksibel dalam menangkap pola distribusi data yang kompleks. Sebaliknya, kernel non-linear seperti RBF mampu memetakan data ke dimensi yang lebih tinggi, sehingga hubungan non-linear antar fitur dapat direpresentasikan dengan lebih baik. Hal ini menjelaskan mengapa model dengan kernel non-linear umumnya menghasilkan performa yang lebih optimal pada tugas analisis sentimen. Secara keseluruhan, hasil confusion matrix ini tidak hanya menunjukkan tingkat akurasi model, tetapi juga memberikan gambaran mengenai karakteristik data dan keterbatasan metode yang digunakan. Tingginya akurasi pada kelas positif dan negatif mengindikasikan bahwa model mampu membedakan polaritas yang berlawanan dengan cukup baik, sementara rendahnya performa pada kelas netral menunjukkan perlunya pendekatan yang lebih kompleks untuk menangani ambiguitas data. Dengan demikian, pemilihan kernel menjadi faktor penting dalam meningkatkan performa model, terutama ketika data memiliki pola yang tidak linear, sehingga penggunaan kernel non-linear seperti RBF dapat menjadi solusi yang lebih efektif. Gambar 13. Perbandingan nilai akurasi SVM Gambar 13 menampilkan perbandingan nilai akurasi beberapa model SVM dengan kernel yang berbeda, yaitu Sigmoid, RBF, Linear, dan Polynomial, dalam tugas klasifikasi sentimen. Akurasi digunakan sebagai metrik evaluasi untuk mengukur kemampuan model dalam mengklasifikasikan data secara benar terhadap keseluruhan data pengujian. Berdasarkan hasil yang ditunjukkan pada grafik, SVM dengan kernel Sigmoid memperoleh akurasi tertinggi sebesar 0,799 (79,9%), diikuti oleh SVM RBF dengan akurasi 0,792 (79,2%), SVM Linear sebesar 0,780 (78,0%), dan SVM Polynomial sebesar 0,764 (76,4%). Perbedaan nilai akurasi tersebut menunjukkan bahwa pemilihan kernel memiliki pengaruh terhadap kemampuan model dalam mempelajari pola data dan melakukan klasifikasi sentimen. Kernel Sigmoid memberikan kinerja terbaik karena mampu memetakan hubungan non-linier pada data sehingga lebih efektif dalam membedakan kelas sentimen yang memiliki karakteristik kompleks. Sementara itu, kernel RBF juga menunjukkan performa yang tinggi karena memiliki kemampuan yang baik dalam menangani data dengan distribusi non-linier. Sebaliknya, kernel Linear menghasilkan akurasi yang sedikit lebih rendah, yang mengindikasikan bahwa data sentimen tidak sepenuhnya dapat dipisahkan secara linear dalam ruang fitur. Adapun kernel Polynomial memperoleh akurasi terendah, yang menunjukkan bahwa pendekatan polynomial kurang optimal dalam merepresentasikan pola yang terdapat pada dataset yang digunakan. Secara keseluruhan, seluruh model SVM menghasilkan akurasi di atas 75%, yang menunjukkan bahwa metode SVM memiliki kemampuan yang baik dalam melakukan klasifikasi sentimen. Namun, berdasarkan hasil pengujian, SVM Sigmoid merupakan model dengan performa terbaik karena mencapai tingkat akurasi tertinggi dibandingkan kernel lainnya. Temuan ini menunjukkan bahwa penggunaan kernel yang sesuai sangat penting untuk meningkatkan kinerja model klasifikasi sentimen pada data ulasan pengguna. Gambar 14. Confusion Matrix MLP Gambar 14 menampilkan confusion matrix dari model MLP yang digunakan untuk melakukan klasifikasi sentimen ke dalam tiga kelas, yaitu Negatif, Netral, dan Positif. Confusion matrix merupakan alat evaluasi yang digunakan untuk mengukur kinerja model klasifikasi dengan membandingkan true label dan predicted label. Berdasarkan matriks tersebut, nilai diagonal utama menunjukkan jumlah data yang berhasil diklasifikasikan dengan benar oleh model. Untuk kelas Negatif, model berhasil mengklasifikasikan 214 data dengan benar, sedangkan 47 data salah diprediksi sebagai Netral dan 19 data salah diprediksi sebagai Positif. Pada kelas Netral, model berhasil mengidentifikasi 251 data dengan benar, sementara 45 data salah diklasifikasikan sebagai Negatif dan 44 data sebagai Positif. Adapun pada kelas Positif, model mampu mengklasifikasikan 215 data secara tepat, dengan 50 data salah diprediksi sebagai Netral dan 15 data sebagai Negatif. Secara keseluruhan, jumlah prediksi yang benar adalah 680 data (214 + 251 + 215) dari total 900 data pengujian, sehingga diperoleh nilai akurasi sebesar 75,56%. Nilai ini menunjukkan bahwa model MLP memiliki kemampuan yang cukup baik dalam membedakan sentimen positif, negatif, dan netral pada data ulasan yang dianalisis. Hasil confusion matrix juga menunjukkan bahwa kesalahan klasifikasi paling sering terjadi pada kelas Netral, baik ketika data netral diprediksi sebagai positif atau negatif maupun sebaliknya. Kondisi ini mengindikasikan bahwa karakteristik teks pada kelas netral memiliki kemiripan dengan dua kelas lainnya sehingga lebih sulit dibedakan oleh model. Sebaliknya, model relatif lebih baik dalam mengenali sentimen Negatif dan Positif, yang terlihat dari tingginya jumlah prediksi benar pada kedua kelas tersebut. Secara umum, confusion matrix ini menunjukkan bahwa model MLP mampu melakukan klasifikasi sentimen dengan performa yang cukup baik. Namun, masih terdapat ruang untuk meningkatkan kemampuan model, terutama dalam membedakan sentimen netral dari sentimen positif dan negatif melalui optimasi parameter, penambahan fitur, atau penggunaan teknik representasi teks yang lebih efektif. Kesimpulan Penelitian ini membandingkan kinerja SVM dan MLP dalam penerapan Aspect-Based Sentiment Analysis pada 290.338 ulasan aplikasi Shopee di Google Play Store sepanjang 2025. Dari empat kernel SVM dan satu model MLP yang diuji, kernel Sigmoid memperoleh kinerja terbaik dengan akurasi 79,9, disusul RBF 79,2, Linear 78,0, Polynomial 76,4, dan MLP 75,56. Hasil ini menunjukkan bahwa pada data teks berdimensi tinggi dengan representasi TF-IDF, SVM masih lebih efektif dibandingkan MLP untuk klasifikasi sentimen berbasis aspek. Sejalan dengan hasil tersebut, dominasi sentimen positif menunjukkan bahwa sebagian besar pengguna memberikan penilaian yang baik terhadap aplikasi Shopee, sedangkan sentimen netral menjadi kelas yang paling sulit dikenali oleh seluruh model. Kondisi ini menandakan bahwa batas antara ulasan netral dan ulasan yang memiliki polaritas lemah masih cukup kabur, sehingga model lebih sering tertukar pada kelas tersebut. Temuan ini sekaligus memperlihatkan bahwa performa model tidak hanya ditentukan oleh algoritma, tetapi juga oleh karakteristik distribusi data dan tingkat kejelasan label sentimen. Berdasarkan temuan itu, penelitian ini memiliki beberapa keterbatasan. Pertama, dataset hanya berasal dari satu platform dan satu aplikasi, sehingga generalisasi hasil ke objek lain masih terbatas. Kedua, distribusi kelas sentimen belum sepenuhnya seimbang, terutama pada kelas netral, sehingga performa model pada kelas tersebut cenderung lebih rendah. Ketiga, penelitian ini masih menggunakan representasi TF-IDF dan model klasifikasi yang relatif klasik, sehingga belum mengeksplorasi pendekatan berbasis konteks seperti embedding modern atau transformer. Oleh karena itu, penelitian selanjutnya disarankan untuk menambah jumlah data netral, menerapkan teknik penyeimbangan data seperti oversampling atau class weighting, serta menguji fitur dan model yang lebih beragam, misalnya n-gram, word embedding, atau transformer. Selain itu, penelitian lanjutan juga dapat membandingkan performa pada platform e-commerce lain agar dapat diketahui apakah pola keunggulan kernel dan model tetap konsisten pada karakteristik data yang berbeda. Dengan demikian, hasil penelitian berikutnya akan lebih kuat sekaligus lebih luas dalam penerapannya Referensi
[10] H. Huang, A. A. Zavareh, and M. B. Mustafa, “Sentiment Analysis in E-Commerce Platforms: A Review of Current Techniques and Future Directions,” IEEE Access, vol. 11, pp. 90367–90382, 2023, doi: 10.1109/ACCESS.2023.3307308.
[11] H. Huang, A. A. Zavareh, and M. B. Mustafa, “Sentiment Analysis in E-Commerce Platforms: A Review of Current Techniques and Future Directions,” IEEE Access, vol. 11, pp. 90367–90382, 2023, doi: 10.1109/ACCESS.2023.3307308.
[12] L. I. Wijaya, Z. Zunairoh, M. Izharuddin, and A. Rianawati, “Scope of E-Commerce use, innovation capability, and performance: Food sector MSMEs in Indonesia,” Journal of Open Innovation: Technology, Market, and Complexity, vol. 11, no. 1, p. 100459, Mar. 2025, doi: 10.1016/J.JOITMC.2024.100459.
[13] F. Xu, Z. Pan, and R. Xia, “E-commerce product review sentiment classification based on a naïve Bayes continuous learning framework,” Inf. Process. Manag., vol. 57, no. 5, Sep. 2020, doi: 10.1016/J.IPM.2020.102221.
[14] D. A. Lestari, Y. Sibaroni, and S. S. Prasetiyowati, “Sentiment Analysis of Transportation Application Reviews with SVM on Handling Imbalanced Data Using SMOTE,” 2025 International Conference on Data Science and Its Applications, ICoDSA 2025, pp. 287–292, 2025, doi: 10.1109/ICODSA67155.2025.11157024.
[15] M. E. Basiri, S. Nemati, M. Abdar, E. Cambria, and U. R. Acharya, “ABCDM: An Attention-based Bidirectional CNN-RNN Deep Model for sentiment analysis,” Future Generation Computer Systems, vol. 115, pp. 279–294, Feb. 2021, doi: 10.1016/J.FUTURE.2020.08.005.
[16] R. Obiedat, D. Al-Darras, E. Alzaghoul, and O. Harfoushi, “Arabic Aspect-Based Sentiment Analysis: A Systematic Literature Review,” IEEE Access, vol. 9, pp. 152628–152645, 2021, doi: 10.1109/ACCESS.2021.3127140.
[17] L. Shang, H. Xi, J. Hua, H. Tang, and J. Zhou, “A Lexicon Enhanced Collaborative Network for targeted financial sentiment analysis,” Inf. Process. Manag., vol. 60, no. 2, pp. 159–168, Mar. 2023, doi: 10.1016/J.IPM.2022.103187.
[18] N. Chintalapudi, G. Battineni, M. Di Canio, G. G. Sagaro, and F. Amenta, “Text mining with sentiment analysis on seafarers’ medical documents,” International Journal of Information Management Data Insights, vol. 1, no. 1, Apr. 2021, doi: 10.1016/j.jjimei.2020.100005.
[19] M. E. Alzahrani, T. H. H. Aldhyani, S. N. Alsubari, M. M. Althobaiti, and A. Fahad, “Developing an Intelligent System with Deep Learning Algorithms for Sentiment Analysis of E-Commerce Product Reviews,” Comput. Intell. Neurosci., vol. 2022, 2022, doi: 10.1155/2022/3840071.
[20] M. P. Geetha and D. Karthika Renuka, “Improving the performance of aspect based sentiment analysis using fine-tuned Bert Base Uncased model,” International Journal of Intelligent Networks, vol. 2, pp. 64–69, Jan. 2021, doi: 10.1016/j.ijin.2021.06.005.
[21] A. L. Karn et al., “Customer centric hybrid recommendation system for E-Commerce applications by integrating hybrid sentiment analysis,” Electronic Commerce Research, vol. 23, no. 1, pp. 279–314, Mar. 2023, doi: 10.1007/s10660-022-09630-z.
[22] S. Al-Natour and O. Turetken, “A comparative assessment of sentiment analysis and star ratings for consumer reviews,” Int. J. Inf. Manage., vol. 54, Oct. 2020, doi: 10.1016/j.ijinfomgt.2020.102132.
[23] R. M. Devi et al., “Twitter Sentiment Analysis using Collaborative Multi Layer Perceptron(MLP) Classifier,” 2023 International Conference on Computer Communication and Informatics, ICCCI 2023, 2023, doi: 10.1109/ICCCI56745.2023.10128430.
[24] M. Isnan, G. N. Elwirehardja, and B. Pardamean, “Sentiment Analysis for TikTok Review Using VADER Sentiment and SVM Model,” Procedia Comput. Sci., vol. 227, pp. 168–175, Jan. 2023, doi: 10.1016/J.PROCS.2023.10.514.
[25] R. Obiedat et al., “Sentiment Analysis of Customers’ Reviews Using a Hybrid Evolutionary SVM-Based Approach in an Imbalanced Data Distribution,” IEEE Access, vol. 10, pp. 22260–22273, 2022, doi: 10.1109/ACCESS.2022.3149482.
[26] J. Maqbool, P. Aggarwal, R. Kaur, A. Mittal, and I. A. Ganaie, “Stock Prediction by Integrating Sentiment Scores of Financial News and MLP-Regressor: A Machine Learning Approach,” Procedia Comput. Sci., vol. 218, pp. 1067–1078, Jan. 2023, doi: 10.1016/J.PROCS.2023.01.086.
[27] A. Adak, B. Pradhan, and N. Shukla, “Sentiment analysis of customer reviews of food delivery services using deep learning and explainable artificial intelligence: systematic review,” Foods, vol. 11, no. 10, p. 1500, May 2022, doi: 10.3390/foods11101500.
[28] M. E. M. Abo et al., “A multi-criteria approach for Arabic dialect sentiment analysis for online reviews: exploiting optimal machine learning algorithm selection,” Sustainability, vol. 13, no. 18, p. 10018, Sep. 2021, doi: 10.3390/su131810018.
[29] N. S. D. Abdullah and I. A. Zolkepli, “Sentiment analysis of online crowd input towards brand provocation in facebook, twitter, and instagram,” ACM International Conference Proceeding Series, pp. 67–74, Dec. 2017, doi: 10.1145/3175684.3175689.
[30] J. Cui, Z. Wang, S. B. Ho, and E. Cambria, “Survey on sentiment analysis: evolution of research methods and topics,” Artificial Intelligence Review 2023 56:8, vol. 56, no. 8, pp. 8469–8510, Jan. 2023, doi: 10.1007/S10462-022-10386-Z.
[31] T. Hu, B. She, L. Duan, H. Yue, and J. Clunis, “A systematic spatial and temporal sentiment analysis on geo-tweets,” IEEE Access, vol. 8, pp. 8658–8667, 2020, doi: 10.1109/access.2019.2961100.
[32] F. Hemmatian and M. K. Sohrabi, “A survey on classification techniques for opinion mining and sentiment analysis,” Artif. Intell. Rev., vol. 52, no. 3, pp. 1495–1545, Oct. 2019, doi: 10.1007/s10462-017-9599-6.
[33] S. Gupta and R. Sandhane, “Use of sentiment analysis in social media campaign design and analysis,” ., no. 22, pp. 351–363, May 2022, doi: 10.18137/cardiometry.2022.22.351363.
[34] M. Rodríguez-Ibánez, A. Casánez-Ventura, F. Castejón-Mateos, and P. M. Cuenca-Jiménez, “A review on sentiment analysis from social media platforms,” Expert Syst. Appl., vol. 223, p. 119862, Aug. 2023, doi: 10.1016/J.ESWA.2023.119862.
[35] J. Gao et al., “SMLP4Rec: An Efficient All-MLP Architecture for Sequential Recommendations,” ACM Trans. Inf. Syst., vol. 42, no. 3, Jan. 2024, doi: 10.1145/3637871;ISSUE:ISSUE:DOI.
