Analisis Model-Model Machine Learning Interpretable Pada Emotional Tweets Berbahasa Indonesia

Abstract

Penelitian ini membahas analisis model machine learning yang interpretable terhadap prediksi emosi tweets berbahasa Indonesia. Banyaknya pengguna Twitter di Indonesia membuat analisis emosi menjadi penting, karena hal ini dapat digunakan untuk memprediksi respon orang terhadap sesuatu, seperti keluhan karyawan terhadap perusahaannya dan respon siswa terhadap . Tujuan utama penelitian ini adalah menilai bagaimana algoritma-algoritma interpretable yang digunakan memprediksi emosi dari tweets tersebut. Metode yang digunakan dalam penelitian ini adalah normalisasi data, ekstraksi fitur, training, evaluasi dan interpretasi. Setelah normalisasi data, fitur-fitur yang diekstraksi adalah Part-of-Speech Tagging, Stemming, perhitungan jumlah kata emosi, TF-IDF, Word Embedding, nilai sentimen, dan ortografi yang terdiri dari jumlah huruf kapital, tanda seru, tanda baca, jumlah kata, dan jumlah huruf masing-masing tweet. Kemudian, model dilatih dan dievaluasi berdasarkan metrik F1 score. Kemudian interpretasi dengan menggunakan partial dependence plot dilakukan untuk melihat efek data terhadap model. Hasil penelitian menunjukkan bahwa Logistic Regression memiliki F1 score terbaik dibanding ketiga algoritma lainnya, yaitu di atas 60%. Partial dependence plot dari Logistic Regression juga dapat menggambarkan relasi kata-kata dalam TF-IDF terhadap model, dengan komposisi sebagian kata berdampak positif dan sebagian pula berdampak negatif atau berdampak tidak besar. Dengan demikian, dibandingkan semua algoritma, Logistic Regression adalah pilihan algoritma interpretable terbaik dalam kasus ini. Kode program dari penelitian dapat diakses di https://github.com/1972007/Kode-Jurnal_Joseph.