[rojak-analyzer] Sentiment Classification Approach

[pyk]

About

Follow up untuk #75 #96. Terimakasih untuk feedback dari teman-teman, semoga issue ini memperjelas dan membuat pemahaman kita menjadi sama.

Oke di issue ini akan lebih di jelaskan lagi tentang approach apa sih yang bisa kita gunain untuk membuat rojak-analyzer . Issue ini dibuat dengan asumsi pembaca sudah mempunyai pemahaman tentang dasar-dasar sentiment analysis (SA).

Kan ada beberapa macam SA:

• document-level sentiment
• sentiment for user-specified targets
• entity-level sentiment
• quotation-level sentiment
• directional-sentiment
• keyword-level sentiment
• dan lain-lain

Untuk rojak ini kita fokus untuk solve "document-level sentiment" dan/atau "entity-level sentiment".

Sentiment Classification

Di issue ini kita akan fokus untuk solve "document-level sentiment", jadi kita pandang satu dokumen keseluruhan sentimentnya untuk siapa.

Sentiment classification ini lebih gampang dari pada aspect/feature based sentiment analysis yg untuk solve "entity-level sentiment".

Untuk MVP, kita udah membuat classifier based on SVM #127

Salah satu hasil evaluasinya:

Untuk refrensinya:

• Thumbs up? Sentiment Classification using Machine Learning Techniques http://www.cs.cornell.edu/home/llee/papers/sentiment.pdf
• Fast and accurate sentiment classification using an enhanced Naive Bayes model https://arxiv.org/pdf/1305.6143.pdf
• Exploring Sentiment Classification Techniques in News Articles http://researchdatabase.ac.zw/519/2/Exploring%20Sentiment%20Classification%20Techniques%20in%20News%20Articles.pdf

[girikuncoro]

wew paper yang pertama bikinan dosenku lillian lee :))

[pyk]

Update 03/11/16

Untuk sentiment classification, kita pake baseline SVM dan untuk handle multiclass nya kita pake strategi One-Vs-Rest. Ini sudah di implementasi di #164.

Label data

Untuk datanya, di awal kita memakai label perorangan:

'pos_ahok'
'pos_djarot'
'pos_anies'
'pos_sandi'
'pos_agus'
'pos_sylvi'
'neg_ahok'
'neg_djarot'
'neg_anies'
'neg_sandi'
'neg_agus'
'neg_sylvi'
'oot'

Berdasarkan hasil diskusi di #tim-data kita menstransform label ini ke pasangan:

pos_agus_sylvi
neg_agus_sylvi
pos_ahok_djarot
neg_ahok_djarot
pos_anies_sandi
neg_anies_sandi
oot

Alasannya orang2 hanya fokus untuk melihat ke pasangan aja misal seperti trump vs hillary dan sentiment ke ahok pasti efek ke ahok-djarot juga. Hal ini juga mempermudah classifier kita untuk menggeneralisasi.

Satu berita bisa punya lebih dari satu label ini:

pos_agus_sylvi
neg_agus_sylvi
pos_ahok_djarot
neg_ahok_djarot
pos_anies_sandi
neg_anies_sandi

satu berita hanya punya satu label ini:

oot

Untuk datanya bisa di donwload di data_training_7_labels_latest.csv.zip

Catatan

Karena jumlah sample datanya belum balance:

neg_agus_sylvi: 19
neg_ahok_djarot: 108
neg_anies_sandi: 18
oot: 417
pos_agus_sylvi: 184
pos_ahok_djarot: 208
pos_anies_sandi: 172

kita akan menerapkan semi-supervised training, jadi data training nya nanti akan bertambah terus sampai balance, untuk mempercepat proses pelabelan kita suruh Rojak untuk predict labelnya, kalau ada yg salah kita koreksi dan nanti akan menjadi data tambahan untuk training.

Classifier

Untuk classifiernya, kita membuat 4 classifier:

* classifier_agus_sylvi => to predict pos/neg/not about agus-sylvi
* classifier_ahok_djarot => to predict pos/neg/not about ahok-djarot
* classifier_anies_sandi => to predict pos/neg/not about anies-sandi
* classifier_oot => to predict oot or not

Dari 4 classifier tersebut, kita terapkan infering rule seperti ini:

- Given news, Is it oot or not?
    - If oot => label news as oot
    - If not:
        - For each classifier classifier_agus_sylvi, 
          classifier_ahok_djarot, classifier_anies_sandi take the 
          label that have confident score larger than given threshold
          otherwise we don't label the news

Contoh:

=== start DEBUG
Bawaslu DKI: Timses Kerap Abaikan Aturan Pilkada
label: ['oot']
confident_score: {'neg_anies_sandi': -1.0671682578425243, 'pos_ahok_djarot': -0.81042434262450336, 'not_anies_sandi': 0.76268179455861151, 'neg_ahok_djarot': -0.63756135053350294, 'pos_anies_sandi': -0.77171809626483645, 'pos_agus_sylvi': -0.7827062526851396, 'not_agus_sylvi': 0.86203408656440983, 'not_ahok_djarot': 0.36186144827728906, 'neg_agus_sylvi': -1.1119618324548517}
=== end DEBUG
=== start DEBUG
Agus Yudhoyono Ingin Tingkatkan Prestasi Olahraga DKI Jakarta
label: ['pos_agus_sylvi']
confident_score: {'neg_anies_sandi': -0.99141095785462163, 'pos_ahok_djarot': -0.62911732003754761, 'not_anies_sandi': 0.80863227713659958, 'neg_ahok_djarot': -0.99598498612391317, 'pos_anies_sandi': -0.87259113497380691, 'pos_agus_sylvi': 0.76271220887252711, 'not_agus_sylvi': -1.038161533251275, 'not_ahok_djarot': 0.53975597161164002, 'neg_agus_sylvi': -0.77680729066235643}
=== end DEBUG
=== start DEBUG
Djarot Disambut Tepuk Tangan Anggota Baitul Muslimah Indonesia
label: ['pos_ahok_djarot']
confident_score: {'neg_anies_sandi': -1.1684881898510737, 'pos_ahok_djarot': 0.62168500076349853, 'not_anies_sandi': 1.0849894875463117, 'neg_ahok_djarot': -1.2319646572268113, 'pos_anies_sandi': -0.98888602551858151, 'pos_agus_sylvi': -1.1601937486394134, 'not_agus_sylvi': 1.2535383989605675, 'not_ahok_djarot': -0.48919774132146288, 'neg_agus_sylvi': -1.2033293919191395}
=== end DEBUG
=== start DEBUG
Anies Ingin Berikan Pelatihan Pengolahan Sampah kepada PPSU
label: ['pos_anies_sandi']
confident_score: {'neg_anies_sandi': -0.77537869823838546, 'pos_ahok_djarot': -0.91969201451981375, 'not_anies_sandi': -1.3202411920509793, 'neg_ahok_djarot': -0.99551699891345469, 'pos_anies_sandi': 1.0906873327977351, 'pos_agus_sylvi': -1.0633945438839816, 'not_agus_sylvi': 0.97295272712155267, 'not_ahok_djarot': 0.80466706429855794, 'neg_agus_sylvi': -0.93803350211385239}
=== end DEBUG

Dari contoh diatas bisa kita lihat kalau berita:

• Djarot Disambut Tepuk Tangan Anggota Baitul Muslimah Indonesia http://megapolitan.kompas.com/read/2016/10/31/11071981/djarot.disambut.tepuk.tangan.anggota.baitul.muslimah.indonesia

adalah berita positif tentang ahok-djarot, disini Rojak yakin dengan score: 0.62168500076349853

Catatan

Karena kita tambahin artificial label not_{agus_sylvi,ahok_djarot,anies_sandi} classifier kita punya notion untuk bedain sentiment ini untuk pasangan mana. Untuk saat ini Rojak masih bingung bedain berita tentang Djarot & OOT, karena samplenya masih dikit.

At least dia gak ngaco sih, maksutku ngaco seperti berita oot malah d kasih label negatif ke kandidat tertentu atau berita positif malah di label negatif.

Jadi menurutku udah aman kalo run di prod yg Rojak OvR Pair.

Langkah selanjutnya

• Integrasi Rojak OvR Pair ke Rojak Runtime
• Perbanyak training data dengan metode yg disebutkan diatas
• Deploy ke prod

[rawgni]

🙏