TEKNIK EVALUASI (IMK)

MAKALAH INTERAKSI MANUSIA DAN KOMPUTER
"TEKNIK EVALUASI (IMK)"

KELOMPOK 2
DISUSUN OLEH :
Ranti 13630003
Anggi Trisno Purnamasari 13630074
Rudi Hartono 13630149
Ahmad Fathurrahman 13630206
Kurniawan Ramadhan 13630317
Susan Antika 13630356


FAKULTAS TEKNOLOGI INFORMASI
PROGRAM STUDI S1 TEKNIK INFORMATIKA
UNIVERSITAS ISLAM KALIMANTAN (UNISKA)
MUHAMMAD ARSYAD AL-BANJARY
BANJARMASIN
2015


KATA PENGANTAR

Bismillahirahmanirrahim…
Syukur alhamdulilah penulis ucapkan kehadiran SWT. Yang mana dengan rahmat dan karunianya, sehingga penulis dapat menyelesaikan Makalah IMK Ini merupakan salah satu tugas studi pada prodi S1 Teknik Informatika UNISKA Banjarmasin.
Dalam menyelesaikan tugas ini, penulis sudah berusaha semaksimal mungkin, tapi penulis menyadari bahwa makalah ini jauh dari kesempurnaan karna keterbatasan waktu dan ilmu yang penulis peroleh selama ini, untuk itu penulis menerima segala kritikan maupun saran yang diberikan siapapun untuk lebih menyempurnakan makalah ini.
Akhir kata penulis berharap semoga makalah ini berguna dan bermanfaat bagi penulis dan teman-teman semua.

Banjarmasin, November 2015

Kelompok 2



BAB I
PENDAHULUAN

Bab ini membahas teknik evaluasi yang dapat digunakan untuk aplikasi yang didalamnya terjadi interaksi antara manusia dan komputer. Evaluasi adalah suatu tes atas tingkat penggunaan dan fungsionalitas sistem yang dilakukan didalam laboratorium, di lapangan, atau didalam kolaborasi dengan pengguna. Yang dievaluasi pada interaksi manusia dan komputer adalah desain dan implementasinya. Evaluasi sebaiknya dilakukan dengan mempertimbangkan semua tahapan siklus hidup desain.
Adanya perdebatan tentang penilaian sebuah tampilan, ada yang mengatakan, "BAGUS", "SEDANG", atau "JELEK". Adanya asumsi bahwa selama suatu software dapat digunakan, maka itu sudah cukup bagus.
Kegiatan evaluasi suatu software atau tampilan merupakan kegiatan yang dihindari karena akan menambah waktu pengembangan dan biaya. Kegiatan evaluasi merupakan sesuatu yang sangat penting karena desainer dapat mengetahui apakah karyanya berguna dan diinginkan oleh user. Desainer tidak dapat berasumsi bahwa orang lain seperti dirinya, dan mengikuti design guidelines menjamin bahwa karyanya pasti bagus.
Evaluasi dibutuhkan untuk memeriksa apakah user dapat menggunakan produk tersebut dan menyukainya. Evaluasi kepuasan penggunaan terhadap sebuah produk dapat dilakukan menggunakan kuesioner dan atau interview.

MAKSUD DAN TUJUAN
Tujuan dari makalah ini adalah :
Menyelesaikan tugas yang diberikan Dosen mata kuliah Interaksi Manusia Komputer
Memaparkan kepada pembaca tentang Teknik Evaluasi




BAB II
PEMBAHASAN
TEKNIK EVALUASI

Pengertian
Teknik merupakan suatu karakteristik yang dimilliki oleh seseorang untuk menghasilkan atau mendapatkan sesuatu yang diinginkan. Sedangkan evaluasi itu sendiri mengevaluasi atau menguji manfaat dan fungsi dari system interaktif itu sendiri. Metode evaluasi harus dipilih secara akurat, cermat, harus cocok dengan suatu aktifitas yang sedang dilakukan.
Evaluasi merupakan bagian dari sIstem manajemen yaitu perencanaan organisasi pelaksanaan monitoring. Tanpa evaluasi maka tidak akan diketahui bagaimana kondisi objek evaluasi tersebut dalam rancangan pelaksaan serta hasinya. Istilah evaluasi sudah menjadi kosakata dalam Bahasa Indonesia, akan tetapi kata ini adalah kata serapan dari Bahasa Inggris yaitu evalution yang berarti penilaian atau penaksiran (Echols dan Shadily , 2000 : 220). Sedangkan menurut pengertian istilah ''evaluasi merupakan kegiatan yang terencana untuk mengetahui keadaan sesuatu obyek dengan menggunakan instrument dan hasilnya dibandingkan dengan tolak ukur untuk memperoleh kesimpulan''. (Yunanda : 2009)
Evaluasi adalah sebuah proses yang secara sistematis mengumpulkan data yang menginformasikan kepada kita tentang pendapat seseorang atau sekelompok user mengenai pengalamannya menggunakan sebuah produk untuk sebuah tugas tertentu dalam sebuah lingkungan tertentu.
Evaluasi adalah suatu tes atas tingkat penggunaan dan fungsionalitas sistem yang dilakukan didalam laboratorium, di lapangan, atau di dalam kolaborasi dengan pengguna. Yang dievaluasi pada interaksi manusia dan computer adalah desain dan implementasinya. Evaluasi sebaiknya dilakukan dengan mempertibangkan semua tahapan siklus hidup desain.
Evaluasi digunakan untuk melihat apakah hasil rancangan dengan proses uji coba sistem yang telah dibuat sesuai dengan permintaan pengguna (user).
Seorang user berkeinginan untuk menggunakan sebuah sistem yang mudah dipelajari, dan penggunaannya sedapat mungkin efektif, efisien, aman, dan memuaskan. Selain itu, sedapat mungkin menyenangkan, atraktif, menantang, dll.
Proses ini tidak dikerjakan dalam satu fase proses perancangan tetapi melalui perancangan dengan prinsip life cycle, dengan hasil evaluasi dikembalikan untuk memodifikasi perancangan.

Tujuan Evaluasi
Evaluasi memiliki 3 tujuan utama, yaitu:
Melihat seberapa jauh sistem berfungsi :
Desain sistem memungkinkan user malakukan tugas dengan lebih mudah. Hal ini tidak hanya membuat fungsionalitas yang sesuai dengan sistem, tetapi juga membuat mudah untuk dicapai oleh user. User dapat melakukan aksi untuk melakukan tugas. Juga mencakup kesuaian penggunaan sistem terhadap harapan user pada tugas tersebut. Evaluasi pada tahap ini meliputi pengukuran unjuk kerja dari user pada sistem, untuk melihat keefektifan sistem dalam mendukung tugas.

Melihat efek interface bagi pengguna :
Mencakup aspek dari kemudahan sistem dipelajari, daya guna dan perilaku user. Penting juga untuk mengidentifikasi area desain yang berlebih dari user dengan menggunakan sejumlah informasi.

Mengidentifikasi problem khusus yang terjadi pada sistem :
Ketika penggunaan suatu konteks memberikan hasil yang tidak diinginkan, atau terjadi kekacauan diantara user. Ini tentunya berhubungan dengan daya guna (usibility) dan fungsionalitas dari desain (bergantung pada sebab masalah). Tujuan ini merupakan aspek negatif dari desain.


Jenis Evaluasi
Ada 2 jenis dalam teknik evaluasi, yaitu :
Dalam kondisi percobaan (Laboratory)
Penggunaan pada pengujian sistem ini dilakukan pada ruang percobaan dengan beberapa kondisi diantaranya :
Laboratorium yang bagus biasanya memiliki fasilitas perekaman audio/visual yang baik, cermin dua arah, komputer beserta perlengkapannya yang mungkin tidak ada pada lokasi kerja yang sebenarnya.
Operator terbebas dari gangguan yang menghambat pekerjaan.
Beberapa situasi hanya dapat dilakukan dilaboratorium, misalnya sistem yang akan digunakan ditempatkan pada lokasi yang berbahaya atau lokasi yang terpencil. Contoh, stasiun ruang angkasa.
Dapat memanipulasi situasi untuk memecahkan masalah dan melihat sedikit penggunaan prosedur atau membandingkan beberapa alternatif perancangan dengan situasi yang sebenarnya.
Situasi pada laboratorium tidak dapat menggambarkan situasi ruang kerja yang sebenarnya dan terdapat beberapa orang yang tidak bisa bekerja pada kondisi seperti di laboratorium.

Keuntungan :
Peralatan special tersedia
Lingkungan yang terinterupsi

Kerugian :
Kekurangan konteks
Sulit untuk menggati beberapa pengguna bekerja sama

Kelayakan :
Jika lokasi sistem berbahaya atau tidak praktis/tak berguna.
Sistem pennguna tunggal terbatas
Untuk membolehkan manipulasi penggunaan yang terkontrol.

Dalam kondisi lokasi kerja yang sebenarnya
Penggunaan pengujian sistem ini pada lokasi kerja sebenarnya mempunyai beberapa kondisi, di antaranya :
Tingkat gangguan yang melebihi ambang batas, tingkat pergerakan yang tinggi dan interupsi yang tetap, seperti panggilan telepon yang menyebabkan observasi ini sulit dilakukan.
Situasi yang lebih "terbuka" antara sistem dan pengguna, dimana kondisi ini tidak ditemukan pada kondisi di laboratorium
Observasi pada lokasi kerja sebenarnya lebih baik dilakukan daripada di laboratorium dan gangguan-gangguan yang terjadi pada lokasi ini digunakan sebagai situasi yang mewakili situasi sebenarnya dan digunakan untuk proses penyimpanan dan pengambilan selama tugas.

Keuntungan :
Ligkungan natural/alami
Konteksnya terjaga (walaupun observasi mungkin mengubahnya).
Memungkinkan studi longitudional.

Kekurangan :
Banyak yang mengganggu
Noise (keriuhan)

Kelayakan :
Dimana konteks adalah kruisal
Untuk studi longitudional (membujur)

Participatory Design
Adalah suatu pemikiran yang melibatkan keseluruhan alur perancangan dan tidak hanya proses evaluasi saja. Perancangan ini dilakukan pada ruang kerja yang melibatkan pengguna yang tidak hanya digunakan sebagai subyek percobaan tetapi juga sebagai anggota yang aktif dalam team perancangan. Argumennya adalah user dianggap ahli dalam konteks dan perancangan hanya dapat efektif pada konteks tersebut jika para ahli ini memberikan kontribusi yang aktif keperancangan.

Memiliki beberapa karakteristik dari desain partisipatif adalah :
Meningkatkan lingkungan kerja dan tugas. Ini membuat perancangan dan evaluasi berorientasi kerja atau konteks disbanding berorientasi sistem.
Mempunyai sifat kerja sama (kolaborasi), yaitu pengguna dilibatkan sebagai anggota team dan mempunyai kontribusi pada setiap tingkat perancangan.
Mempunyai pendekatan interative, perancangan adalah suatu subyek untuk evaluasi dan revisi pada setiap tingkatan.

Evaluasi Pakar (Perancangan)
Evaluasi pakar merupakan evaluasi yang digunakan melalui analisis pakar dalam melakukan desain dan implementasi sistem.
Evaluasi ini terjadi setelah proses perancangan secara ideal dilakukan pada sistem pertama sebelum implementasi dimulai. Jika perancangan dievaluasi, kesalahan dapat dihindari karena perancangan dapat diubah/diperbaiki untuk mengevaluasi perancangan sebelumnya.
Adapun mengevaluasi perancangan sebelum inplementasi adalah sebagai berikut :
Cognitive Walkthrough
Evaluasi Heuristik
Evaluasi Berbasis Tinjauan (Review-based)
Evaluasi Berbasis Model (Model-based)


Cognitive Walkthrough
Suatu usaha yang dilakukan untuk mengenalkan teori psikologi kedalam bentuk informal dan subyektif. Dengan kata lain, usaha ini bertujuan untuk mengevaluasi perencanaan dengan melihat seberapa besar dukungan yang diberikan pada pengguna untuk mempelajari beberapa tugas yang diberikan. Pendekatan ini dikemukakan oleh Polson, dkk. Walkthrough dilaksanakan oleh perancang atau seorang ahli dalam psikologi kognitif. Ahli bekerja melalui perancangan tugas tertemtu, tahap demi tahap, mengidentifikasi masalah yang berpotensi pada kriteria psikologi. Kemudian dibandingkan ke proses dimana perancang software akan bekerja dengan koding pada kondisi yang berbeda, struktur tujuan untuk mendukungnya.
Dalam pendekatan ini terdapat beberapa isu-isu yang timbul seperti :
Pengaruh apa yang timbul setelah tugas ini diberikan ke pengguna ?
Proses cognitive apa yang tersedia ?
Masalah pembelajaran apa yang seharusnya timbul ?
Cognitive walkthrough harus menunjukkan jika dan bagaimana interface merujuk user untuk membangkitkan tujuan yang benar dari pelaksanaan tugas yang diinginkan, dan memilih aksi yang diperlukan untuk memenuhi setiap bulan. Untuk melakukan cognitive walkthrough harus mempunyai informasi yang dibutuhkan :
Deskripsi dari suatu interface yang dibutuhkan itu sendiri.
Deskripsi dari tugas, termasuk usaha yang benar untuk melakukannya dan struktur tujuan untuk mendukungnya.
Dengan informasi ini maka evaluator dapat melakukan langkah dari walkthrough :
Memilih tugas
Mendiskripsikan tujuan awal dari user
Melakukan kegiatan yang tepat
Menganalisis proses keputusan untuk setiap kegiatan.
Cognitive walkthrough berbasis formulir yang disediakan untuk merunjuk evaluator melalui sekumpulan pertanyaan yang berhubungan dengan tugas dan tujuan user. Cognitive walkthrough merupakan metode analisis yang dapat digunakan untuk fase perancangan awal maupun untuk mengevaluasi sistem, berisi informasi yang berhubungan dengan kemampuan belajar (learnability) dari interface. Jika digunakan diawal perancangan maka akan dapat mengidentifikasi masalah perancangan sebelum tahap prototype dan langsung difokuskan pada evaluasi selanjutnya. Meskipun dirancang untuk digunakan oleh perancang sendiri tetapi juga memerlukan pengetahuan teori psikologi secara terminology agar efektif.
Contoh :
Memprogram video dengan remote control. Misalkan akan memprogram video ke waktu dimulai jam 18.00 dan berakhir pada jam 19.15 pada saluran 4 pada tanggal 4. Maka tugas untuk hal tersebut adalah :
Set waktu awal
Set waktu akhir
Set channel
Set tanggal

Ini adalah tujuan dari user, memasukan pengalaman dan pengetahuan sebelumnya. Ekspresi diatas adalah pada tingkat tinggi, tidak diberikan detailnya pada level interface. Dengan melihat tujuan user yang diidentifikasi, setiap aksi akan digambarkan dengan tugas yang lengkap dan akan ditentukan apakah interface mendukung pembangkitan struktur tujuan yang dibutuhkan untuk aksi yang lengkap. Setiap aksi dianalisis pada formulir walkthrough. Formulir menampilkan sejumlah pertanyaan yang dilakukan adalah melakukan penekanan tombol "Timed Recording".
Langkah selanjutnya adalah membandingkan struktur tujuan yang tersedia dengan struktur tujuan pada langkah awal. Hal ini dilakukan dengan empat pertanyaan :
Akankah user gagal untuk menambah tujuan yang diperlukan ?
Akankah user gagal untuk memindahkan tujuan yang tidak diinginka ?
Akankah user mengadopsi beberapa tujuan palsu berdasarkan interface ?
Akankah user membatalkan tujuan yang masih dibutuhkan ?

Evaluasi Heuristik (Heuristic Evaluation)
Evaluasi ini diusulkan oleh Neilsen dan Molich, hampir sama dengan cognitive walkthrough tetapi sedikit terarah dan terstruktur. Heuristic adalah guildeline, prinsip umum dan perturan, pengalaman yang bisa membantu suatu keputusan atau kritik atau suatu keputusan yang telah diambil, beberapa penilaian bebas terhadap suatu desain supaya kritik bias memajukan potensi daya guna. Penilaian terhadap suatu daya guna dari suatu sistem memiliki peringkat 75% disbanding tampilan sistem. Pada evaluasi ini, sekumpulan kriteria usability atau heuristic diidentifikasi dan perancangan dilaksanakan.
Dalam sistem ini terdapat beberapa kriteria :
Perilaku system dapat dipastikan
Perilaku system konsisten
Kemampuan memori user tidak melebihi batas
Dialog merupakan orientasi tugas

Ada 10 dasar dari heuristik, seperti :
Visibilitas status sistem
Kecocokan antara sistem dan dunia maya
Control user dan kebebasan
Konsisten dan standar
Pencegahan kesalahan
Pengenalan dan penarikan kembali
Fleksibilitas dan efisiensi
Berhubungan dengan keindahan dan design minimalis
Bantuan bagi user untuk mengenali, mendiagonis dan memperbaiki dari kesalahan.
Help dan dokumentasi.
Tujuan dari evaluasi heuristik adalah untuk memperbaiki perancangan secara efektif. Orang yang melakukan evaluasi melalui kinerja dari serangkaian tugas dengan perancangan dan dilihat kesesuaiannya dengan kinerja setiap tingkatan. Jika ada kesalahan yang terdeteksi maka perancangan dapat ditinjau ulang guna memperbaiki masalah tersebut sebelum sampai pada tingkatan implementasi.

Evaluasi Berbasis Tinjauan (Review-based Evaluation)
Evaluasi antara psikologi eksperimen dengan interaksi manusia dan komputer menghasilkan hasil-hasil eksperimen yang baik dan pengalaman yang nyata.
Dalam kenyataannya hasil eksperimen ini tidak dapat dipastikan mempertahankan keadaan yang tetap. Orang yang melakukan evaluasi harus memilih data secara hati-hati, rancangan eksperimen yang dipilih, subyek masyarakat yang digunakan, analisa penyelenggaraan dan asumsi yang telah dibuat.

Evaluasi Berbasis Model (Model-based Evaluation)
Pendekatan evaluasi ini berguna untuk mengevaluasi perancangan dengan kombinasi spesifikasi perancangan dan evaluasi ke dalam kerangka kerja yang sama. Contohnya : GOMS Model, Keystroke level model dan design rationale.

Model Pengguna (Pemodelan User)
Pada model pengguna pada interaksi manusia dan komputer ada berbagai macam model pengguna seperti :
User requitment model, yang berhubungan dengan kebutuhan user :
Socio-techial model yang mewakili manusia dan persyarakatan teknis,
Soft system methodology yang memperhatikan isu-isu yang ada di seputar manusia dan organisasi
Cognitive model yang mempresentasikan user system interaktif.
Cognitive model, yang berhubungan dengan user sistem interaktif :
Hierarachi model, yang mewakili tugas dan tujuan user.
Linguistic model, yang mempresentasikan sistem tata Bahasa user.
Physical and device model, yang mempresentasikan keahlian manusia.
Cognitive architecture mendasari semua model di atas.
Seringkali persyaratan pengguna hanya focus pada fungsionalitas dan mengabaikan daya guna dan aspektabilitas. Model persyaratan pengguna menambahkan hal ini dengan pendekatan socio-technocal models, soft system, methodfology dan participatory design.
Model Kognitif (cognitive model)
Merupakan suatu model yang berhubungan dengan sistem interaktif yang memodelkan aspek pengguna, seperti pemahaman, pengetahuan, tujuan dan pemrosesan. Kategori umum dari model ini adalah komputasi, kinerja, selera komputasi, tanpa disertai pembagian yang jelas.
Banyak model yang menggunakan pemrosesan mental dimana user mencapai tujuan dengan memecahkan sub-tujuan secara device and conquer. Pada bagian ini hanya akan dibahas dua model, yaitu GOMS (Goals Operators, Methode and Selections) dan CCT (Cognitive Complexcity Theory). Berikut ini adalah contoh pembuatan laporan penjualan buku IMK. Untuk mencapai tujuan ini laporan dibagi menjadi beberapa sub-tujuan.
Terdapat beberapa isu penting jika dilakukan analisis penggunaan seperti :
Dimana kita berhenti. Kita dapat berhenti mendekomposisi tugas jika menyangkut element pergerakan motoric manusia pada level yang lebih abstrak.
Dimana kita memulai. Kita dapat memulai analisis pada poin yang berbeda pada hierarki goal tertentu.
Apa yang harus dilakukan ketika ada beberapa solusi pemecahan masalah atau jika solusi terhadap dua masalah saling berhubungan.
Apa yang harus dilakukan terhadap kesalahan yang terjadi.

GOMS
Model Goals, Operators, Method, Selections, diperkenalkan oleh Card, Moran dan Newell. Penjelasan adalah sebagai berikut :
Goal adalah tujuan yang ingin dicapai oleh user.
Operator merupakan level terendah analisis, terdiri atas tindakan dasar yang harus dilakukan user dalam menggunakan sistem.
Method dimana ada beberapa cara untuk membagi tujuan kedalam beberapa sub-tujuan. Dekomposisi tujuan tersebut disebut sebagai nethod.
Selection, merupakan pilihan terhadap method yang ada. GOMS tidak membiarkan pilihan menjadi random, namun lebih dapat diprediksi namun demikian secara umum hal tersebut bergantung pada user, kondisi sistem dan detail tujuan.

Sebagai contoh, user sam tidak pernah menggunakan L7-METHOD kecuali jika dia memainkan sebuah game yang bernama bloks. Dalam hal ini GOMS memasukkannya aturan selection :

For a particular user :
Rule 1 : select USE-MENU-METHOD unless another, rule applies.
Rule 2 : if the aplications is GAME, select CTRL-W-METHOD
Analisis GOMS umumnya terdiri dari satu tujuan tingkat tinggi yang kemudian didekomposisi menjadi deretan unit tugas (task) yang selanjutnya dapat dikomposisi lagi sampai pada level operator dasar. Dekomposisi tujuan antara tugas keseluruhan dan tugas untuk melibatkan pemahaman terhadap strategi pemecahan masalah oleh user dan domain aplikasi secara detail. Bentuk deskripsi high-level-goal ini nantinya diadopsi selama proses analisis tugas.
Analisis struktur tujuan GOMS dapat digunakan untuk mengukur kinerja. Ke dalam tumpukan struktur tujuan dapat digunakan untuk mengetimasi kebutuhan memori jangka pendek. Pemilihan dapat diuji keadaan keakuratannya dengan jejak user dan perubahan respons. GOMS merupakan metode yang baik untuk mendeskripsikan bagaimana seorang ahli melakukan pekerjaannya. Jika digabung dengan model fisik dan model perlengkapan maka akan dapat digunakan untuk memprediksi kinerja user dan aspek waktu eksekusi.

CCT
Cognitive Complexcity Theory diperkenalkan oleh Kieras dan Polson. CCT merupakan perluasan dari GOMS. CCT mengandung banyak prediksi parallel :
User goal : berhubungan dengan aturan produksi. Aturan tersebut terbentuk ``IF kondisi THEN aksi`` dan dipisahkan antara aturan untuk pemula yang sudah ahli.
System atau device : berhubungan dengan jaringan transisi tergenerasisasi yang sangat detail. Terdapat deskripsi yang luas dan jaringan transisinya mencakup semua model dialog.
State kondisi adalah pernyataan tentang isi memori kerja. Jika kondisi bernilai benar maka aturan produksi dijalankan. Sedangkan aksi dapat terdiri dari satu atau lebih aksi elementer yang mungkin mengubah memori kerja atau berupa aksi eksternal seperti keystroke. Contohnya adalah tugas editing menggunakan editor 'vi' UNIX untuk mengoreksi spasi antarkata.
Aturan CCT dapat menggambarkan rencana yang kompleks dibandingkan dengan hirarki sekuensial pada GOMS. Aktifitas yang continue dari semua aturan produksi memungkinkan untuk mempresentasikan rencana yang berkesinambungan.
Sebagai contoh, pada CCT dapat dibuat satu set lainnya untuk membuat the. Kedua jenis aturan produksi ini dapat aktif secara simultan sehingga memungkinkan si penulis buku sambil minum teh.
Secara umum, semakin banyak aturan produksi dalam CCT maka akan semakin sulit suatu interface untuk dipelajari. Selain itu terdapat beberapa masalah pada CCT yaitu :
Semakin detailnya deskripsinya, ukuran dekripsi dari satu bagian interface dapat menjadi sangat besar. Lebih jauh, dimungkinakan terdapat beberapa cara untuk mempresentasikan perilaku user dan interasi yang sama sehingga mengakibatkan adanya perbedaan pada hasil pengukuran.
Pemilihan notasi yang digunakan. Muncul pertanyaan kapan notasi tertentu yang dipilih menjadi suatu hal yang penting atau kritis. Seseorang dapat saja memilih untuk mempresentasikan system dengan notasi yang berbeda. Notasi yang berbeda dapat mengakibatkan perbedaan pengukuran. Contoh, pada deskripsi sebelumnya (NOTE executing insert space) hanya digunakan untuk membuat rule INSERT-SPACE-DONE dijalankan pada waktu yang tepat. Disini tidak jelas sama sekali signifikasi kognitifnya.
CCT adalah alat rekayasa dengan pengukuran kemudahan untuk dipelajari dan tingkat kesulitan secara garis besar digabung dengan deskripsi detail pelaku user.


Evaluasi Implementasi
Perbedaan yang besar dengan evaluasi perancangan adalah keberadaan implementasi sistem yang ada dalam berbagai bentuk. Hal ini dapat dimulai dari simulasi kemampuan interaktif dari suatu sistem, sebagai contoh Wizard of Oz, melalui fungsi prototype dasar sampai dengan sistem yang telah diimplementasi secara keseluruhan.

Metode Empirik : Evaluasi Eksperimen
Evaluasi eksperimen merupakan evaluasi dengan pendekatan statistic dengan memilih hipotesis yang akan dicoba dan jumlah kondisi eksperimen. Setiap eksperimen memiliki dasar yang sama. Evaluator memilih hipotesa untuk diuji yang dapat ditentukan dengan mengukur beberapa atribut dari perilaku subyek. Sejumlah kondisi eksperimen ditentukan yang berbeda dalam hal nilai dari variable tetap yang terkontrol. Setiap perubahan pengukuran perilaku diatributkan ke kondisi yang berbeda.
Faktor-faktor yang perlu dipertimbangkan dalam mendukung evaluasi eksperimen yaitu :
Subject, siapa yang merepresentasikan
Pemilihan subyek sangat penting dalam beberapa eksperimen
Eksperimen harus setepat mungkin sampai sesuai dengan keinginan user
Jika subyek bukan user sebenarnya maka subyek yang dipilih sesuai dengan kelompok user yang dimaksud baik usia maupun tingkatan pendidikan serta pengalaman menggunakan komputer secara umum dan keterhubungan sistem yang sedang dalam pengujian.

Variable, sesuatu untuk dimodifikasi dan ukuran
Variabel independen, karakteristik suatu eksperimen yang memanipulasi untuk menghasilkan kondisi yang berbeda seperti : jenis interface, level dari help, jumlah item menu dan perancangan ikon.
Variabel dependen, variabel yang dapat diukur dalam eksperimen seperti : waktu untuk menyelesaikan tugas, jumlah kesalahan yang dibuat dan kualitas dari untuk kerja user.

Contoh mengevaluasi perancangan icon

Dimisalkan kita akan membuat paket pengolahan kata baru yang menggunakan icon untuk presentasinya. Ada 2 jenis perancangan icon akan digunakan yang paling mudah bagi user. Jenis pertama menggunakan gambar natural (berdasarkan metapora dari dokumen kertas), jenis yang lain menggunakan gambar abstrak seperti terlihat pada gambar diatas. Yang pertama harus dilakukan adalah membentuk hipotesis : tampilan yang seperti apa yang diinginkan ? Pada kasus ini kebanyakan user akan mengambil gambar natural sebagai icon yang lebih mudah dalam pemnggilan, karena lebih familiar bagi user. Hipotesis ini mengidentifikasikan variable independent untuk eksperimen, natural dan abstrak. Pada pertimbangan variabel dependent, pengukuran "lebih mudah" dilihat dari jumlah kesalahan dalam memilih dan waktu yang digunakan untuk memilih sebuah icon. Kontrol eksperimen dilakukan dengan membuat interface yang identic dengan perancangan icon dan tugas pemilihan dibuat yang dapat diulang untuk setiap kondisi. Kemudian metode eksperimen dilakukan dengan menggunakan kelompok user yang dimaksud. Mengingat pembelajaran terlibat dalam eksperimen ini, maka perancangan within-groups digunakan dimana setiap user menggunakan kedua set icon tersebut. Kemudian hasil eksperimen secara detail dianalisis.

Hypothesis, apa yang ingin ditunjukkan
Merupakan prediksi yang dihasilkan dalam eksperimen.
Hipotesis ini menggunakan variable independen dan dependen, dimana variasi dalam variabel independen akan menyebabkan perbedaan pada variabel dependen.
Tujuan dari eksperimen adalah untuk menunjukan bahwa perkiraan dengan menyangkal adanya null hypothesis yang menyatakan bahwa tidak ada perbedaan dalam variabel dependen diantara tingkatan dari variabel independen.
Pengukuran statistika menunjukkan bahwa nilai hasil dapat dibandingkan dengan tingkat kepercayaan. Jika nilai tertentu ada pada tingkat kepercayaan, hipotesis null tidak ada.

Perancangan Eksperimen :
Between – Groups (Randomized)
Masing-masing subyek diberikan kondisi yang berbeda yakni kondisi eksperimen (variable sudah dimanipulasi) dan control, yang identic dengan kondisi eksperimen kecuali untuk manipulasi ini.
Contoh ini memastikan bahwa manipulasi bertanggungjawab untuk setiap perbedaan yang diukur.
Keuntungan perancangan ini adalah setiap user menghasilkan satu kondisi
Kerugiannya adalah dengan semakin banyak jumlah subyek yang tersedia akan menyebabkan hasilnya akan berkurang dan perbedaan antar setiap individu akan membuat bias hasil. Hal ini dapat diatasi dengan memilih dengan hati-hati subyek yang dipilih dan menjamin setiap kelompok di masyarakat terwakili.

Within-Groups
Setiap user akan menampilkan kondisi yang berbeda
Jumlah user yang tersedia lebih sedikit
Pengaruh dari subyek lebih sedikit

Pengukuran Statistik
Pengukuran statistika menunjukkan bahwa nilai hasil dapat dibandingkan dengan tingkat kepercayaan. Jika nilai tertentu ada padda tingkat kepercayaan, hipotesis null tidak ada.
Dua aturan dalam analisa dengan statistik yaitu : melihat dan menyimpan data. Menyimpan data penting jika kita akan melakukan metode analisis yang berbeda. Pemilihan analisis statistika bergantung pada tipe data dan pertanyaan yang perlu dijawab.
Variabel yang digunakan terbagi, yaitu :
Discrete Variables
Menggunakan jumlah yang terbatas dari satu nilai atau tingkatan. Contoh : warna layar monitor yaitu red, green, dan blue. Merupakan suatu variabel independen
Continous Variable
Menggunakan jumlah berapapun (batas atas maupun batas bawah). Contoh : ketinggian seseorang atau waktu yang diperlukan untuk menyelesaikan suatu pekerjaan. Merupakan suatu variabel dependen.

Teknik Observasi :
Fungsi perangkat lunak yang digunakan pada teknik observasi yaitu :
Untuk memonitor test
Membuat catatan kejadian penting yang diobservasi dari video proses testing
Membantu membuat umpan balik diagnostic mengenai masalah penggunaan sistem.





Jenis-jenis teknik observasi yaitu :

Think aloud
Cara yang popular dalm mengumpulkan informasi dengan melihat interaksi user. Evaluator melihat dan merekam aksi user (dengan berbagai teknik). Konsekuensinya user ditanyai untuk mengelaborasikan aksinya dengan "thinking aloud", yaitu menjelaskan apa yang mereka coba kerjakan.
Think aloud mempunyai keuntungan yakni sederhana membutuhkan sedikit pengetahuan untuk menampilkannya dan menyediakan pengertian yang berguna dengan interface juga dapat digunakan untuk mengobservasi bagaimana sistem digunakan.
Variasi lain adalah cooperative evaluation dimana :
Proses mempunyai hambatan yang sedikit sehingga lebih mudah dipelajari oleh orang yang melakukan evaluasi
User mempunyai dorongan untuk menguji system
Orang yang melakukan evaluasi dapat menjelaskan kekacauan yang terjadi dan memaksimalkan pendekatan yang efektif untuk mengenali masalah

Analisa Protokol. Terdapat beberapa metode untuk merekam kegiatan user :
Paper and pencil
Audio recording
Video recording
Computer logging
User notebook

Automatic protocol analysis tools. EVA (Experimental Video Annotator) Sistem prototipe yang berjalan pada multi-media workstation yang dihubungkan langsung ke video recorder. Evaluator dapat menemukan sekumpulan tombol yang mengindikasikan event yang berbeda. Tombol yang digunakan dalam sesi perekaman untuk mencatat video notes. Selama sesi user bekerja pada workstation dan direkam menggunakan video, logging sistem dan audio. Evaluator menggunakan tombol untuk mencatat event yang penting dari user dan merekam notes tambahan pada editor teks. Setelah sesi evaluator dapat menanyakan dan menggunakannya untuk mencari informasi. Contoh : Workplace project pada Xerox PARC.

Post-task walkthrough. Terdapat beberapa keadaan yang menyebabkan subyek tidak dapat berbicara selama observasi sebenarnya seperti subyek sedang mengerjakan tugas yang sangat penting dan banyak. Pada keadaan ini post-task walkthroughs dapat melihat secara subyektif perilaku user.

Teknik Query :

Wawancara/Interview
Wawancara merupakan suatu teknik yang dilakukan dengan menanyai user satu demi satu. Wawancara user mengenai pengalaman mereka dengan sistem interaktif yang menyediakan informasi secara langsung dan terstruktur. Wawancara efektif pada evaluasi tingkat tinggi, khususnya dalam memperoleh informasi tentang preferensi user, impresi dan perilaku. Jika digunakan bersama observasi, berarti mencari klarifikasi sebuah kejadian. Keunggulan metode ini pertanyaan yang diberikan dapat divariasikan sesuai dengan konteksnya dan pandangan user dapat diperoleh. Agar lebih efektif wawancara perlu direncanakan dan dibuat pertanyaannya. Kekurangan metode ini sangat subjektif dan memakan waktu yang lama.

Questionnaire (Kuesioner)
Merupakan suatu teknik dengan memberikan sejumlah pertanyaan yang sudah pasti diberikan dan dalam bentuk tercetak. Pertama yang harus dilakukan evaluator adalah menetukan tujuan dari questioner : informasi apa yang akan diambil ? Keunggulan metode ini yaitu cepat, dapat mencapai sasaran untuk kelompok pengguna yang besar dan dapat dianalisis dengan teliti, sedangkan kekurangannya kurang fleksibel.
Terdapat beberapa jenis questionnaire, yaitu :
General, pertanyaan untuk mengetahui latar belakang pengguna dan memasukkannya ke dalam subyek populasi.
Open-ended, pertanyaan yang membutuhkan jawaban dan opini sendiri yang berguna untuk mengumpulkan informasi subyektif secara umum tetapi sulit untuk dianalisis.
Scalar, user diminta untuk memutuskan pernyataan tertentu berdasarkan skala angka, biasanya berhubungan dengan setuju atau tidak setuju terhadap pernyataan yang diberikan. Contoh : tidak setuju 1 2 3 4 5 setuju.
Multi-choice, responden diberikan pilihan respon secara eksplisit dan hanya boleh memilih satu saja atau sebanyak yang diperlukan. Missal : Software apa yang pernah Anda gunakan ?

Pengolah data
Spreadsheet
Presentasi
Interpreter

Ranked, mengurutkan item dalam daftar dan berguna untuk mengindikasikan preferensi user. Missal : rangkinglah kegunaan dari metode perintah.

(1 sangat berguna, 2 berikutnya, 0 jika tidak berguna)
Pilihan menu
Baris perintah
Akselerator kunci control

Tipe-tipe pertanyaan ini sangat berguna untuk tujuan yang berbeda-beda. Untuk mengurangi kesalahan dari responden, sebaiknya menggunakan pertanyaan tertutup seperti scalar, ranked atau multi-choice.



Klasifikasi teknik evaluasi dapat dilihat pada tabel-tabel berikut :

Tabel Teknis Analisis
Komponen
Cognitive walkthrough
Heuristic evaluasi
Review-based
Model based
Stage
Seluruh
Seluruh
Desain
Desain
Style
Laboratorium
Laboratorium
Laboratorium
Laboratorium
Obyektif ?
Tidak
Tidak
Source
Tidak
Ukuran
Kualitatif
Kualitatif
Source
Source
Informasi
Low level
High level
Source
Desain
Kesiapan
Laboratorium
Laboratorium
Laboratorium
Source
Mengganggu ?
Tidak
Tidak
Source
Tidak
Waktu
Medium
Low
Low-medium
Medium
Perlengkapan
Low
Low
Low
Low
Keahlian
High
Medium
Low
High

Tabel Teknik Query
Komponen
Eksperimen
Interview
Kuesioner
Stage
Seluruh
Seluruh
Seluruh
Style
Laboratorium
Laboraorium /lapangan
Laboraorium /lapangan
Obyektif ?
Ya
Tidak
Tidak
Ukuran
Kualitatif
Kualitatif / kuantitatif
Kualitatif / kuantitatif
Informasi
Low/High level
High level
High level
Kesiapan
Ya
Tidak
Tidak
Mengganggu ?
Ya
Tidak
Tidak
Waktu
High
Low
Low
Perlengkapan
Medium
Low
Low
Keahlian
Medium
Low
Low

Tabel Teknik Observasi
Komponen
Pertimbangan dengan seksama
Protocol analisis
Post task walkthrough
Stage
Implementasi
Implementasi
Implementasi
Style
Lab / lapangan
Lab / lapangan
Lab / lapangan
Obyektif ?
Tidak
Tidak
Tidak
Ukuran
Kualitatif
Kualitatif
Kualitatif
Informasi
Low/high level
Low/high level
Low/high level
Kesiapan
Ya
Tidak
Tidak
Mengganggu ?
Ya
Ya
Tidak
Waktu
High
High
Medium
Perlengkapan
Low
High
Low
Keahlian
Medium
High
Medium


Paradigma Evaluasi
'Quick and dirty' evaluation
Adalah umpan balik berupa keinginan dan yang disukai dari user atau konsultan yang disampaikan secara informal kepada desainer tentang produk yang dibuatnya. Evaluasi ini dapat dilakukan pada semua tahapan pembuatan produk dan penekanannya pada masukan yang cepat/sesingkat mungkin daripada temuan didokumentasikan secara hati-hati.

Usability testing
Evaluasi ini cukup dominan digunakan pada tahun 1980-an. Melibatkan pengukuran kinerja user dalam mempersiapkan tugasnya secara hati-hati, dari proses inilah maka dibuatkan design sistemnya. Kinerja umumnya diukur dalam jumlah kesalahan yang dilakukan dan waktu yang dibutuhkan untuk menyelesaikan tugas.

Cara yang umumnya digunakan untuk membuat sistem ini yaitu dengan cara :
Melihat secara langsung, dan
Merekamnya dalam video.

Evaluasi ini menggunakan kuesioner dan wawancara kepada user tentang kepuasannya menggunakan system tersebut. Penelitian biasanya dilakukan didalam laboratorium, dimana user diberi suatu treatment tertentu (misal, cahaya, suara, warna, dll) atau juga tanpa treatment. Contoh aplikasi : wordprocessor, spredsheet, database.
Metode :
Mengamati pengguna menggunakan sistem dan merekam kesalahan, waktu
Interview/kuesioner untuk mendapatkan pendapat pengguna

Field study
Berbeda dengan usability testing, evaluasi ini dilakukan dilingkungan asli dimana user bekerja. Hal ini bertujuan untuk meningkatkan pemahaman tentang kerja user secara alami dan bagaimana dampak teknologi tersebut padanya.
Dapat juga membantu mengidentifikasi kesempatan sebuah teknologi baru, menentukan kebutuhan-kebutuhan untuk melakukan desain, memfasilitas sebuah pengenalan teknologi.
Metode : interview dan observasi.
Evaluasi ini dapat digunakan untuk :
Membantu mengidentifikasi kesempatan sebuah teknologi baru
Menentukan kebutuhan-kebutuhan untuk melakukan desain
Memfasilitasi pengenalan sebuah teknologi baru atau meluncurkan teknologi dalam konteks yang berbeda
Evaluasi teknologi

Teknik ini digunakan untuk Interview, Observasi (Pengamatan yang hanya dilakukan oleh desainer), Partisipatori (user dilibatkan dalam pembuatan desain), ethnography (penilaian berdasarkan budaya). Dari data yang didapatkan tersebut, maka desiner dapat melakukan evaluasi, baik secara kuantitatif maupun kualitatif terhadap produknya.

Predictive evaluation
Didasarkan pada pengalaman seorang ahli dalam menghadapi user, dan biasanya hal ini dijadikan patokan untuk memprediksi masalah-masalah penggunaan sebuah produk.
Keuntungan dari teknik ini :
user yang di inginkan tidak perlu dihadirkan
proses pembuatannya relatif murah, cepat, dan cukup disukai oleh perusahaan. Tahun-tahun terakhir evaluasi ini cukup popular.

Analytical evaluation
Evaluasi tanpa melibatkan end-user.
Metode :
Inspeksi heuristic evalution, menggunakan standar untuk identifikasi masalah usability
Walkthrough, melibatkan ahli untuk menjalankan scenario pada prototype aplikasi, dan menggunakan simulasi penyelesaian masalah.

Perbedaan evaluasi ditunjukkan pada tabel berikut :
Paradigma evaluasi
Usability Testing
Field Studies
Analytical Evaluation
Peran pengguna
Jalankan serangkaian tugas
Berlaku alami
Tidak terlibat
Pengontrol
Evaluator mengontrol
Evaluator dan pengguna
Evaluator ahli
Lokasi
Laboratorium
Situasi alami
Laboratorium dengan situasi pengguna
Tipe data
Kuantitatif, statistic, hasil kuesioner
Kuantitatif, sketsa, scenario, dll
Studi kasus dari ahli
Umpan balik untuk desain
Laporan pengujian
Desakripsi/penjabaran
Daftar masalah dari ahli
Filosofi
Pendekatan aplikatif dengan eksperimen
Observasi yang objektif


Kombinasi dari beberapa pendekatan seperti pada diagram berikut :

Field study untuk evaluasi ide desain awal dan dapatkan umpan balik

Membuat perubahan pada desain


Usability test untuk cek fitur desain khusus


Field study untuk melihat apa yang terjadi pada lingkungan alaminya


Membuat perubahan akhir



Memilih Metode Evaluasi
Ada 8 faktor yang membedakan teknik evaluasi yang berbeda yang membantu kita dalam memilih teknik evaluasi yang sesuai yaitu :



Tingkat Siklus (Desain VS Implementasi)
Evaluasi pada tingkatan perancangan hanya membutuhkan ahlinya dan akan dianalisa sedangkan evaluasi pada tingkat implementasi meembawa user sebagai subyek dari eksperimen.

Jenis Evaluasi (Laboratory VS field studie)
Secara ideal proses perancangan mencakup dua jenis evaluasi dimana pada laboratorium merupakan awal tingkatan sedangkan field studies ditempatkan pada tingkatan implementasi.

Tingkat Obyektivitas dan Subyektivitas (Subyektif VS Obyektif)
Pada teknik yang subyektif seperti pada cognitive walkthrough maupun think aloud mempercayakan pada evaluator atau orang yang melakukan evaluasi. Hal ini dapat menyebabkan penilaian evaluator menjadi bisa sehingga diperlukan lebih dari satu orang evaluator. Sedangkan teknik obyektif seharusnya menghasilkan hasil yang berulang yang tidak tergantung pada evaluator. Eksperimen yang terkontrol merupakan contoh pengukuran obyektif. Secara ideal pengukuran secara subyektif dan obyektif seharusnya digunakan keduanya.

Jenis ukuran yang tersedia (Qualitative VS Quantitative measures)
Pengukuran menggunaka numerik lebih mudah digunakan teknik statistic sedangkan non-numerik lebih sulit dilakukan akan tetapi menghasilkan sesuatu yang penting secara lengkap yang tidak dapat dilakukan secara numerik.

Informasi yang tersedia
Informasi yang tersedia Tingkatan untuk evaluator pada setiap tingkat proses perancangan dimulai pada informasi pada informasi yang rendah sampai dengan tingkatan yang tinggi.



Kesiapan dari suatu respon
Faktor lain yang membedakan teknik evaluasi adalah kesiapan mengambil tindakan yang tersedia. Seperti metode think aloud yang merekam perilaku user pada waktu interaksi. Sedangkan post task walkthrough mempercayakan pada pengumpulan kembali kegiatan user.

Tingkat gangguan yang tidak secara langsung (Intrusiveness)
Merupakan teknik yang menghasilkan pengukuran segera yang dihailkan user selama interaksi dan mempunyai resiko mempengaruhi perilaku user. Evaluator harus sensitive untuk mengurangi masalah ini tetapi tidak dapat mengubah semuanya.

Sumber yang tersedia
Hal terakhir yang perlu diperhatikan dalam memilih teknik evaluasi yakni : peralatan, waktu, biaya, subyek serta evaluator yang ahli.


BAB III
PENUTUP

KESIMPULAN
Teknik merupakan suatu karakteristik yang dimiliki oleh seseorang umtuk menghasilkan atau mendapatkan sesuatu yang diinginkan. Sedangkan, evaluasi merupakan bagian dari system manajemen yaitu perencanaan organisasi, pelaksanaan monitoring. Tanpa evaluasi, maka tidak akan diketahui bagaimana kondisi objek evaluasi tersebut dalam rancangan pelaksanaan serta hasilnya.

Tujuan evaluasi adalah
Melihat seberapa jauh sistem berfungsi
Mengetahui efek suatu interface ke pengguna
Mengidentifikasi masalah yang terjadi pada sistem

Jenis-jenis evaluasi yaitu :
Dalam kondisi percobaan (Laboratory)
Dalam kondisi lokasi kerja sebenarnya
Participatory Design

Evaluasi pakar merupakan evaluasi yang digunakan melalui analisis pakar dalam melakukan desain dan implementasi sistem.


SARAN
Kami menyadari dalam pembuatan makalah ini masih banyak kekurangan. Kami tetap berharp makalah ini tetap memberikan manfaat bagi pembaca. Namun, saran dan kritik yang sifatnya membangun dengan senang hati kami terima demi kesempurnaan makalah kami di masa yang akan datang.


DAFTAR PUSTAKA

Santoso, Insap. 2010.InteraksiManusiadanKomputer. Yogyakarta : ANDI OFFSET.
http://gudangmakalahku.blogspot.com/2013/04/prinsip-prinsip-dan-teknik-evaluasi.html
Adikara Putra pandu, S.Kom. Teknik Evaluasi, Interaksi Manusia dan Komputer.Ilmu Komputer, Universitas Brawijaya.
Chapter II.pdf
Gudang Materi.2009.08-Evaluasi IMK. [Online] Tersedia :
http://gudangmateri.files.wordpress.com/2009/09/08-evaluasi-imk.pdf
Kiki Muhammad.2010.Tugas-4 Softskill Interaksi Manusia dan. [Online] Tersedia:
http://kikimuhammad.blogspot.com/2010/03/tugas-4-softskill-interaksi-manusia-dan.html
LecNote Teknik Evaluasi.pdf
http://bit.ly/fxzulu