1. Temubual, Soalselidik dan Pandangan Pakar
Bab 10
Temubual, Soalselidik dan Pandangan Pakar

2. Objektif Peranan temubual dan soalselidik dalam penilaian
Rekabentuk asas soalselidik
Bagaimana melakukan temubual, penilaian heuristik dan ‘cognitive walkthrough’
Bagaimana mengumpul, menganalisa dan mempersembahkan data
Kelebihan dan kelemahan teknik-teknik ini

3. Temubual
Tidak berstruktur – tidak berpandukan kepada skrip. Fleksibel dan meluas, tetapi tidak boleh direplika
Berstruktur – berdasarkan kepada skrip tertentu, mirip soalselidik. Boleh direplika tetapi tidka feksibel dan meluas
Separa-berstruktur (semi-structured) – berpandukan kepada skrip tetapi idea/isu menarik boleh dibincang lebih dalam.

4. Asas Temubual Rangkakerja DECIDE
Matlamat dan persoalan mempengaruhi temubual
Dua jenis soalan:
‘soalan tertutup’ – format jawapan yang telah ditentukan, spt. “ya” ata “tidak”
‘soalan terbuka’ – tidak mepunyai format tertentu
‘Soalan tertutp’ adalah lebih cepat dan mudah untuk dianalisa

5. Perkara yang perlu dielakkan semasa menyediakan soalan temubual
Soalan yang panjang
Ayat majmuk – pecahkan kepada dua
Bahasa dan jargon yang mungkin tidak difahami oleh responden
Soalan yang mempunyai andaian tertentu (leading questions) , cth: “kenapa anda suka….?”
Bias yang tidak disedari, cthnya dari segi jantina

6. Komponen Temubual
Pengenalan – memperkenalkan diri, menerangkan matlamat temubual, yakinkan responden tentang isu etika, kebenaran untuk merekod, borang informed consent form
Warm up – dimulakan dengan soalan yang mudah dan menyenangkan
Utama - ajukan soalan menurut susunan logikal
Cool-off period – selitkan beberapa soalan mudah untuk mengurangkan tekanan
Penutup – terima kasih kepada responden

7. Proses Temubual Gunakan rangkakerja DECIDE sebagai panduan
Berpakaian mirip kepada peserta
Semak peralatan rakaman lebih awal
Wujudkan sistem kod nama tertentu untuk merahsiakan nama peserta
Be pleasant
Minta peserta mengisi borang perakuan pemberitahuan (informed consent form)

8. Probes dan Prompts
Probes (siasatan) – digunakan untuk mendapatkan maklumat lanjut, cth: “ada apa-apa yang anda perlu tambah berkenaan hal ini?”
Prompts (galakan) – digunakan untuk membantu peserta meneruskan ayat atau penerangan tertentu, cth: “ya, teruskan”, atau membantu mengingat nama
Perlu pastikan bahawa kedua-dua di atas tidak menyebabkan bias

9. Temubual Berkumpulan Juga dikenali sebagai ‘kumpulan fokus’
Biasanya melibatkan 3-10 peserta
Mengumpul maklumat dan pendapat yang pelbagai dan meluas
Perlu ada pengurusan supaya:
Setiap peserta memberi sumbangan
Perbincangan tidak didominasi oleh orang tertentu
Topik agenda dibincangkan

10. Menganalisa Data Temubual
Bergantung kepada jenis temubual
Temubual berstruktur boleh dianalisa sepertimana soalselidik
Temubual tidak berstruktur menghasilkan data sepertimana yang dihasilkan oleh teknik pemerhatian – participant observation
Data dari temuduga tidak berstruktur perlu dianalisa dengan segera tuntuk mengenalpasti topik dan tema

11. Soalselidik Soalan boleh ‘terbuka’ atau ‘tertutup’
Soalan ‘tertutup’ paling mudah dianalisa, dan boleh dilakukan secara berkomputer
Boleh diberikan kepada suatu populasi yang besar
Media penyebaran – kertas, dan laman web
Kelebihan soalselidik elektronik – data masuk terus ke dalam pangkalan data, dan mudah dianalisa
Masalah soalselidik elektronik - persampelan iaitu saiz populasi tidak diketahui

12. Gaya Soalselidik
Pelbagai mengikut matlamat  gunakan rangkakerja DECIDE
Format soalselidik termasuk:
Pilihan ‘ya’ , ‘tidak’
Pilihan lebih dari satu
Skala Likert
Skala semantik
Soalan terbuka
Skala Likert mempunyai julat titik tertentu
Biasanya 3, 5, dan 7

13. Membangun Soalselidik
Menyatakan tujuan soalselidik dengan jelas dan menjamin anonymity responden
Merancang soalan – jika soalselidik berasaskan web, bangunkan secara off-line dahulu
Tentukan samada pernyataan adalah dalam bentuk posotif, negatif, atau gabungan
Soalan diuji terlebih dahulu (pilot test)
Tentukan bagaimana data akan dianalisa dan dapatkan nasihat ahli statistik jika perlu

14. Cara Mendapatkan Respon yang Baik
Pastikan tujuan kajian jelas
Jamin anonymity
Pastikan soalan direkabentuk dengan baik dan teliti
Sediakan versi pendek untuk mereka yang tiada masa untuk mengisi versi panjang
Buat follow-up dengan , telefon, surat
Sediakan insentif
40% renspon adalah agak tinggi, dan 20% biasanya boleh diterima

15. Kebaikan Soalselidik Online
Respon selalunya diterima dengan cepat
Tiada kos penghantaran dan fotokopi
Data boleh dikumpulkan ke dalam pangkalan data secara terus
Masa yang diperlukan untuk analisa lebih singkat
Kesilapan pada soalselidik boleh dibetlkan dengan cepat

16. Masalah Soalselidik Online
Persampelan adalah sukar jika saiz populasi tidak diketahui
Sukar untuk mengesan atau mengelak dari seorang responden mengisi lebih dari sekali
Terdapat kes di mana responden atau orang lain mengubah soalan dalam soalselidik melalui

17. Analisis dan Persembahan Data
Persembahkan data dengan jelas – jadual boleh membantu
Gunakan statistik mudah spt: min, median, mod, sisihan piawai
Peratusan juga baik, tetapi memerlukan saiz populasi
Carta bar boleh menunjukkan data berkategori (nominal)
Analisis statistik yang lebih terperinci boleh dilakukan jika perlu

18. Contoh-contoh Soalselidik
SUMI (Software Usability Measurement Inventory)
MUMMS (Measuring the Usability of Multi-media System)
QUIS (Questionnaire for User Interface Satisfaction)

19. Pandangan Pakar
Pakar menggunakan pengetahuan mereka tentang pengguna dan teknologi untuk review kebolehgunaan perisian
Kritik atau komen boleh dalam bentuk laporan formal dan tidak formal
Penilaian heuristik – suatu review yang berpandukan kepada suatu set heuristik
Walkthrough – melibatkan pengalaman langkah-demi langkah menggunakan senario terancang dan lakaran skrin

20. Penilaian Heuristik Dibangunkan oleh Jacob Nielsen pad awal 1990-an
Berdasarkan kepada heuristik yang diperolehi dari analisa empirikal ke atas 249 masalah kebolehgunaan
Telahpun dikemaskini untuk teknologi sekarang, spt HOMERUN utk web
Garispanduan rekabentuk menjadi asasuntuk membangunkan heuristik

21. Heuristik Nielsen Keterlihatan (visibility) status sistem
Padanan di antara sistem dengan dunia sebenar
Kawalan dan kebebasan pengguna
Ketekalan (consistency) dan piawaian
Bantuan kepada penggun auntuk mengecam, diagnos, dan perbetulkan ralat
Mengelak ralat
Pengecaman (recognition) berbanding mengingat semula (recall)
Kebolehlenturan (flexibility) dan keberkesanan (efficiency) penggunaan sistem
Nilai estetik dan rekabentuk minimalist
Bantuan dan dokumentasi

22. Penilaian Potongan (discount)
Penilaian heuristik juga dikenali sebagai penilaian potongan (discount evaluation) apabila hanya 5 penilai yang digunakan
Kajian empirikal membuktikan bahawa secara kasar 5 penilai adalah cukup untuk mengesan 75-80% masalah kebolehgunaan

23. Tiga Fasa Penilaian Heuristik
Sesi briefing untuk memberitahu pakar/penilai tentang apa yang perlu dilakukan
Fasa penilaian yang memakan masa 1-2 jam yang mana:
Setiap pakar/penilai berkerja secara berasingan
Pertama kali, gunakan sistem secara keseluruhan untuk membiasakan diri dengan sistem
Kali kedua, tumpukan kepada ciri tertentu dalam sistem
Debriefing – kesemua pakar/penilai berbincang untuk kenalpasti masalah utama

24. Kelebihan dan Masalah
Beberapa isu etika dan praktikal perlu dipertimbangkan
Mungkin sukar dan agak mahal untuk mendapatkan pakar
Pakar yang baik mempunyai pengetahuan tentang domain aplikasi dan pengguna
Masalah:
Masalah penting mungkin akan tertinggal
Banyak masalah remeh yang akan dicamkan

25. Cognitive Walkthrough
Memfokus kepada ‘mudah untuk dipelajari’
Perekabentuk akan menyentuh aspek dan penggunaan tertentu menggunakan senario
Satu atau lebih pakar akan ‘berjalan melalui’ rekabentuk prototaip (senario)
Pakar diberitahu mengenai andaian tentang populasi pengguna, konteks penggunaan, dan perincian tugas
Pakar dibantu oleh 3 soalan

26. Tiga Soalan
Will the correct action be sufficiently evident to the user?
Adakah tindakan yang betul (sepatutnya dilakukan) akan kelihatan jelas kepada pengguna?
Will the user notice that the correct action is available?
Adakah pengguna sedar akan kewujudan tindakan tersebut?
Will the user associate and interpret the response from the action correctly?
Bolehkan pengguna memahami dengan betul akan hubungan di antara respon dari sistem dengan tindakan yang telah diambilnya?