Teranix
 |
| kodeteks.com |
Search engine menggunakan algoritma khusus untuk menemukan dokumen yang paling relevan, dua algoritma yang paling sering disebut-sebut di Information Retrieval adalah TF-IDF dan BM25. keduanya mempunyai tujuan yang sama yaitu memberikan ranking dokumen berdasarkan relevansinya, tetapi dengan cara kerja berbeda. Di artikel ini, kita akan bahas perbedaan keduanya, gimana cara kerjanya dan kapan harus pakai algoritma ini.
Kenapa Ada Dua Algoritma yang Berbeda?
Ini merupakan pertanyaan yang wajar. Kalau tujuannya sama, kenapa tidak pakai satu algoritma saja? jawabannya sederhana: TF-IDF datang lebih dulu, dan BM25 ada karena TF-IDF memiliki beberapa kelemahan yang perlu diperbaiki. BM25 bukan pengganti TF-IDF sepenuhnya, kedua algoritma ini masih sering dipakai sampai sekarang tergantung kebutuhan dan konteks penggunaannya.
Apa itu TF-IDF?
TF-IDF atau Term Frequency-Inverse Document Frequency adalah algoritma yang menghitung seberapa penting kata dalam sebuah dokumen terhadap seluruh kumpulan dokumen. Cara kerja TF-IDF mudah dipahami yaitu Term Frequency (TF) menghitung seberapa sering kata muncul dalam dokumen, semakin sering muncul, semakin tinggi skornya.
Inverse Document Frequency (IDF) menghitung seberapa langka kata tersebut di semua kumpulan dokumen, kata yang sering muncul dibanyak dokumen (contohnya: "dan","atau","yang","adalah") diberikan skor rendah, sedangkan kata yang langka dan spesifik mendapatkan skor tinggi.
Skor akhir TF-IDF adalah hasil perkalian kedua komponen ini. Jadi, kata yang sering muncul di satu dokumen tapi jarang muncul di dokumen lain akan mendapatkan skor tinggi dan itu yang dianggap kata penting untuk dokumen tersebut.
Apa itu BM25?
BM25 atau Best Match 25 sebenarnya adalah evolusi dari TF-IDF. Robertson mengembangkan BM25 kerangka teori probabilistik untuk mengatasi kelemahan-kelemahan TF-IDF, terutama soal penanganan frekuensi kata yang terlalu tinggi dan panjang dokumen yang bervariasi. BM25 sekarang menjadi algoritma default di search engine populer seperti Elasticsearch.
Perbedaan utama BM25 dari TF-IDF pada dua parameter tambahan yang membuat algoritma lebih fleksibel. Parameter k1 mengontrol saturasi frekuensi kata, artinya ada batas seberapa jauh frekuensi kata bisa meningkatkan skor relevansi, sehingga dokumen yang terus mengulang-ulang kata kunci tidak otomatis dianggap lebih relevan. Parameter b mengontrol normalisasi panjang dokumen, jadi dokumen panjang dan pendek diperlakukan lebih adil dengan BM25.
Perbandingan Alur Kerja
Agar mudah dipahami, berikut diagram perbandingan alur kerja kedua algoritmanya:
.png) |
| kodeteks.com |
Kapan Pakai TF-IDF? Kapan Pakai BM25?
BM25 lebih cocok dipakai ketika ingin membangun sistem pencarian yang membutuhkan akurasi lebih tinggi. Jika koleksi dokumen yang dimiliki punya variasi panjang yang signifikan, ada yang pendek dan ada yang sangat panjang, BM25 lebih adil dalam memberikan ranking.
Singkatnya, untuk proyek produksi dan search engine serius, pakai BM25. Untuk keperluan belajar, prototyping, atau text analysis sederhana, TF-IDF sudah cukup.
Kesimpulan
TF-IDF dan BM25 adalah dua algoritma fundamental dalam Information Retrieval yang saling melengkapi. TF-IDF jadi fondasi yang simpel dan mudah dipahami, sementara BM25 hadir sebagai penyempurnaan dengan akurasi yang lebih baik berkat parameter saturasi dan normalisasi panjang dokumen. Keduanya masih relevan dipakai sampai sekarang, tinggal disesuaikan dengan kebutuhan.
Tidak ada komentar