[rojak-analyzer] Skor sentimen

[pyk]

Regarding #126

Disini kita mau diskusikan tentang skor sentiment nya. Untuk rojak-analyzer sekarang skor yang kita dapet dari rojak itu seberapa yakin (confident score) saat dia nentuin sentiment nya.

Mungkin dari sisi user kita malah pangen tau sih: dari scale -5 ke 5, seberapa positif atau negatif sih berita ini?

Cara nentuin skornya gimana ya? apa simply kita pake bag-of-words untuk polarity score?

[pyk]

Kita juga bisa pake model regresi untuk ini sih, tapi ya gitu kita perlu data training haha

[girikuncoro]

@pyk hmm kalo dari sisi user (bukan ngitung scoringnya) sih menurutku -5 sampe +5 terlalu besar range nya. Reasoningnya:
Sebagai contoh, Amazon review menggunakan 5 stars (1 sampai 5) karena 5 secara natural cukup mudah dicerna: 1 sangat jelek, 2 jelek, 3 cukup, 4 baik, 5 sangat baik. Begitu pula Yelp review, Google review 5 stars dengan alasan yang sama. Dan juga kalau survey-survey atau tes psikotes rata-rata menggunakan range 5 karena memang bisa cepat dimengerti dengan sekilas lihat. Intuitif.

Nah di kita yang utama ada 3 poin kan sebenarnya: negatif, netral, dan positif. Dengan mengacu ke alesan di atas yang 5 range, menurutku cukup dari -3 sampai -3 (7 range) atau bahkan -2 sampai +2 (5 range): -2 sangat negatif, -1 negatif, 0 netral, +1 positif, +2 sangat positif. Simple.

Nah untuk metode skoring di belakangnya bentar ya baca-baca paper dulu siapa tahu ada yang menarik, besok deh :D Jadi skoring yang kita dapet melalui metode apapun nanti di scale/normalize ke yang 5 range itu.

Gimana?

[girikuncoro]

Ini ada yang menarik juga: http://stackoverflow.com/questions/33543446/what-is-the-formula-of-sentiment-calculation

Papernya: Scaling Policy Preferences from Coded Political Texts http://www.kenbenoit.net/pdfs/Loweetal_2010_LSQ.pdf

[pyk]

@girikuncoro yup bener mas, mungkin contoh skala -5 ke 5 terlalu besar haha

Jadi skoring yang kita dapet melalui metode apapun nanti di scale/normalize ke yang 5 range itu

Setuju 🙇

[pyk]

Update: Untuk sekarang ini kita ada score confident_score_raw dan confident_score_scaled. Intinya untuk Rojak seberapa yakin dia kalau berita tersebut memiliki sentiment yg di prediksi.

Untuk score seberapa positif dan negatif kita belum ada