Penilaian Capaian & Maklumbalas Berkaitan Pengenalan Kejituan dan Dapatan Semula (Recall dan precision) Singular Value Measure Fallout Penggunaan Titik Potong

Penilaian Capaian Keberkesanan capaian diukur dari kebolehan sesuatu sistem memenuhi kepuasan pengguna dari segi capaian dokumen yang berkaitan (van Rajsbergen 1979) Kebanyakan sistem dinilai pada asas : masa : berapa lama masa tindakbalas ke atas kueri ruang : berapa banyak storan diperlukan untuk struktur indeks prestasi capaian : bagaimana baiknya sesuatu jawapan yang diberikan.

Penilaian Capaian Enam pengukuran bagi menentukan kuantiti capaian (reflect the ability of the system to satisfy the user) (Cleverdon 1966) Koleksi yang menyeluruh : meliputi semua yang terdapat pada sistem yang mengandungi perkara yang berkaitan Perbezaan masa : purata jarak masa antara permintaan untuk carian dengan masa jawapan yang diberi Bentuk output yang dipersembahan Usaha yang terlibat pada pengguna bagi mendapatkan jawapan dari permintaan capaian sistem ‘recall’ : nisbah bahan yang berkaitan yang dicapai berhubung dengan jawapan kepada permintaan capaian Ketepatan sistem (precision) : nisbah bahan yang dicapai dan ianya berkaitan

Penilaian Capaian Koleksi pengujian penting dalam penyelidikan capaian maklumat kerana eksperimen perlu dijalankan. Koleksi pengujian memerlukan sekurang-kurangnya tiga espek Koleksi dokumen Set perkataan pertanyaan Keputusan berkaitan antara dokumen dan perkataan pertanyaan yang dijana.

Penilaian Capaian Katakan Q kueri Kata A sebagai set dokumen yang dicapai oleh sistem (jawapan sebenar) Kata R sebagai set dokumen berkaitan kepada kueri (jawapan ideal ) Precision : nisbah item yang dicapai yang berkaitan Precision = capaian yang berkaitan / jumlah capaian Recall : nisbah item yang berkaitan yang dicapai Recall = capaian yang berkaitan / capaian berkaitan yang ujud

Penilaian Capaian Terdapat 4 kes Jawapan dan berkaitan tidak sama A  R =  Recall = precision = 0 jawapan berkaitan jawapan Berkaitan terdapat pada jawapan R  A Recall = 1 berkaitan

Penilaian Capaian Jawapan mengandungi yang berkaitan A  R Precision = 1 berkaitan jawapan Jawapan dan berkaitan saling bertindan A = R Recall = Precision = 1 berkaitan jawapan

Penilaian Capaian Salton dan McGill, 1983 mendefinasikan recall dan precision : Recall = bilangan item yang dicapai dan berkaitan Precision = bilangan item yang dicapai dan berkaitan Jumlah yang berkaitan dalam koleksi Jumlah yang dicapai dalam koleksi Precision The ability to retrieve top-ranked documents that are mostly relevant. Recall The ability of the search to find all of the relevant items in the corpus. Entire document collection Relevant documents Retrieved documents

Perkaitan antara Recall dan Precision Presicion dan recall akan memberi kesan di antara satu dengan yang lain pada arah yang berbeza Semakin luas kueri atau peningkatan bilangan dokumen yang dikembalikan akan meningkatkan recall tetapi akan mengurangkan (rendah) precision Pembentukan semula formula pemberat selalunya akan menjadikan satu parameter semakin baik tetapi akan menyebabkan lainnya semakin teruk Results are mostly relevant but miss many relevant ones The ideal 1 recall precision Return most of the Relevant documents but include many junks

Pengiraan bagi Recall dan Precision Jumlah bilangan dokumen yang berkaitan = 5 R=1/5=0.2; p=1/1=1 R=2/5=0.4; p=2/2=1 R=2/5=0.4; p=2/3=0.67 R=5/5=1; p=5/13=0.38

Pengiraan bagi Recall dan Precision 0.4 0.8 1.0 0.6 0.2 1 2 3 4 5 6 7 12 13 200 recall precision

MAKLUMBALAS BERKAITAN

User’s information need Document representation Model Capaian Dokumen Query formulation User’s information need Formal language Document representation Documents Indexing retrieval Relevance Feedback Retrieved documents

Maklumbalas Berkaitan Susah untuk memformulasikan semula kueri manual Pengguna tidak tahu untuk apa yang menyebabkan sesuatu dokumen itu berkaitan tanpa menilai hasil secara detail dan memahami kaedah yang digunakan dalam capaian Ciri-ciri dokumen tidak mudah untuk dijana ke dalam bentuk formulasi kueri yang tepat Pengguna tidak mahu untuk melakukannya walaupun kadang-kadang mereka tahu bagaimana untuk melakukannya. Maklumbalas berkaitan – secara automatik menjana satu formula baru untuk kueri berdasarkan capaian berkaitan semasa pengguna melakukan operasi gelintar.

Maklumbalas Implicit versus Explicit Pengguna secara explicit mengenalpasti dokumen mana yang berkaitan dan tidak berkaitan. Implicit: Sistem menyediakan maklumat tambahan bagi membantu pengguna untuk menjurus kepada hasil yang diperlukan Google and Altavista: hiperteks “similar pages” atau “related pages” yang dihubungkan pada setiap dokumen yang dicapai Vivisimo, wisenut, taeoma: mewakilkan katakunci tertentu yang berkaitan dan sekumpulan dokumen bagi pengguna untuk dipilih.

Proses Pengubahsuaian Kueri Retrieval Process F G Original query Q Ranked output Rel. & nonrel. documents Reformulated query Q’ Relevancy judgement F: menerima penilaian berkaitan dari pengguna dan menghasilkan satu set output yang menunjukkan dokumen yang berkaitan dan yang tidak berkaitan G: mengimplementasi formula maklumbalas (menulis semula kueri yang asal

Ide Proses Pengubahsuaian Kueri Terma yang ujud pada dokumen yang berkaitan akan ditambah ke dalam vektor kueri yang asal atau pada pemberat bagi menjana pernyataan kueri yang baru. Terma yang ujud pada dokumen yang tidak berkaitan akan dihapuskan dari pernyataan kueri yang asal atau pada pemberat.

Pengubahsuaian Kueri Pengubahsuaian boleh dilakukan dengan mengenalpasti dokumen yang berkaitan dan yang tidak berkaitan iaitu set DR’ dan DN’ dan yang dijangka DR dan DN, dan dilakukan proses pengubahsuaian kueri secara berulang sehingga mencapai optima. Bermula dengan kueri mula dalam bentuk Dimana Q merupakan kueri asal dan , , dan  merupakan nilai pemalar yang sesuai

Contoh Q: original query D1: relevant doc. D2: nonrelevant doc.  = 1,  = 1/2,  = 1/4 Assume: T1 T2 T3 T4 T5 Q = ( 5, 0, 3, 0, 1) D1 = ( 2, 1, 2, 0, 0) D2 = ( 1, 0, 0, 0, 2) S(Q,D1) = (52)+(0  1)+(3  2)+(0  0)+(1  0) = 16 S(Q’D1)=(5.75  2)+(0.5  1)+(4  2)+(0  0)+(0.5  0) = 20 S(Q,D2) = (51)+(0  0)+(3  0)+(0  0)+(1  2) = 7 S(Q’D2)=(5.75  1)+(0.5  0)+(4  0)+(0  0)+(0.5  2) = 6.75