SKRIPSI Jurusan Sejarah - Fakultas Ilmu Sosial UM, 2019

Ukuran Huruf:  Kecil  Sedang  Besar

Analisis Butir Soal Pilihan Ganda Penilaian Akhir Tahun berbasis CBT Mata Pelajaran Sejarah Kelas X IIS MAN 1 Blitar

Prasetya Kumalasari

Abstrak


ANALISIS BUTIR SOAL PILIHAN GANDA PENILAIAN AKHIR TAHUN BERBASIS CBT MATA PELAJARAN SEJARAH KELAS X IIS MAN 1 BLITAR TAHUN AJARAN 2017/2018

Prasetya Kumalasari, Dr. Ari Sapto, M.Hum. Universitas Negeri Malang

E-mail: prasetyakumalasari@gmail.com, ari.sapto.fis@um.ac.id

 

ABSTRAK

Tujuan dari penelitian ini yakni:

(1) menganalisis butir soal secara kuantitatif berdasarkan indeks tingkat kesukaran, indeks daya beda, dan efektivitas distraktor serta

(2) menganalisis butir soal secara kualitatif berdasarkan penelaahan butir soal aspek materi, konstruksi dan bahasa, pada Penilaian Akhir Tahun Mata Pelajaran Sejarah berbasis CBT Kelas X IIS MAN 1 Blitar Tahun Ajaran 2017/2018. Rancangan penelitian ini menggunakan pendekatan campuran (mixed methods) dan merupakan jenis penelitian deskriptif.

Hasil penelitian menunjukkan bahwa:

(1) Hasil analisis butir soal dengan menggunakan aplikasi ITEMAN versi 3.0. menunjukkan bahwa tingkat kesukaran (ITK) butir soal berkategori baik sebesar 76,7%, daya beda (IDB) butir soal yang berkategori baik sebesar 77%, dan efektivitas distraktor yang berfungsi secara efektif sebesar 60%.

(2) Relevansi butir soal berdasarkan aspek materi sebesar 95%, aspek konstruksi sebesar 72.8%, dan aspek bahasa sebesar 91.3%. Berdasarkan hasil yang diperoleh, maka dapat disimpulkan bahwa penyusunan butir soal sebagai instrumen penilaan harus dilakukan sesuai prosedur penyusunan butir soal secara terstruktur agar diperoleh butir soal memiliki kualitas yang baik.

 

Kata Kunci: analisis butir soal, penilaian akhir tahun, CBT, sejarah.

 

ABSTRAC

He objectives of this study are as follows:

(1) analyzing the items quantitatively based on the difficulty level index, the difference power index, and the effectiveness of the distractor, and

(2) analyzing the items qualitatively based on the review of items about the material aspects, construction and language Historical items End of Year Assessment based on CBT Class X Social Sciences MAN 1 Blitar Academic Year 2017/2018. The design of this study uses mixed approaches (mixed methods) and the type of research is descriptive research.

The results of the study show that:

(1) The results of item analysis using the ITEMAN application version 3.0. showed that the difficulty level of ITK items was categorized as good at 76.7%, the difference in power (IDB) of the items categorized as good was 77%, and the effectiveness of the distractors which functioned effectively by 60%.

(2) The relevance of the items based on material aspects is 95%, construction aspects are 72.8%, and language aspects are 91.3%. Based on the results of the study, the preparation of the items as an assessment instrument must be structured so the instrument as a measure of student competence has good quality.

 

Keyword: item analysis, year-end assessment, CBT, history.

Perubahan kurikulum pendidikan dari Kurikulum 2006 menjadi Kurikulum 2013 tidak hanya menuntut adanya perubahan dalam proses pembelajaran, tetapi juga perubahan penilaian. Dalam proses pembelajaran, penilaian dilakukan oleh guru untuk memberikan pelbagai informasi secara autentik, kontinu, dan menyeluruh terhadap proses dan hasil belajar yang telah dicapai oleh peserta didik meliputi ranah pengetahuan, keterampilan, sikap dan nilai-nilai. Dari penilaian tersebut guru dapat menentukan apakah seorang peserta didik perlu mengulang materi, naik kelas, lulus atau tidak (Kusaeri, 2014:5). Seiring dengan kemajuan teknologi, dunia pendidikan mengalami kemajuan yang pesat dan berdampak positif, khususnya dalam proses penilaian hasil belajar siswa. UNBK atau Ujian Nasional Berbasis Komputer mengharuskan siswa mengerjakan soal-soal ujian menggunakan komputer. Penggunaan komputer sebagai alat bantu evaluasi pendidikan, khususnya evaluasi siswa dalam Ujian Nasional mulai dilakukan ujicoba oleh pemerintah pada tahun 2015. Sekolah yang menjadi perintis pelaksanaan CBT (Computer Based Test) adalah sekolah yang bersedia dan memiliki infrastruktur memadai untuk pelaksanaan UNBK (Sudaryati, 2016:689). Penggunaan komputer sebagai alat bantu evaluasi pendidikan kemudian dikembangkan penggunaanya, tidak hanya digunakan dalam Ujian Nasional saja melainkan juga dalam pelaksanaan Ujian Akhir Semester atau Penilaian Akhir Tahun. Berdasarkan hasil observasi dan wawancara dengan panitia penyelenggara ujian berbasis CBT di MAN 1 Blitar pada bulan Nopermber 2018, pelaksanaan Ujian Nasional Berbasis Komputer (UNBK) di MAN 1 Blitar sudah dilaksanakan sejak tahun 2016. Akan tetapi dalam pelaksanaan Ujian Akhir Semester atau Penilaian Akhir Tahun berbasis komputer di MAN 1 Blitar dimulai pada tahun 2017. Pelaksanaan Penilaian Akhir Tahun menggunakan sistem CBT dengan fasilitas komputer sekolah dan jaringan internet yang cukup memadai. Terdapat empat ruang laboratorium CBT dengan masingmasing ruang terdapat 40 unit komputer. Dengan jumlah seluruh komputer sebanyak 160 unit masih belum dapat mencukupi kebutuhan siswa yang berjumlah 1083 siswa di MAN 1 Blitar. Sejak diberlakukannya Penilaian Akhir Tahun berbasis komputer, pelaksanaan ujian dilakukan dengan membagi beberapa sesi dalam satu hari pelaksaan ujian. Terdapat 4 sesi ujian dalam satu hari. Ketika sekolah masih memberlakukan tes  berbasis kertas (Paper Based Test), jumlah soal ujian matapelajaran Sejarah berjumlah 50 soal pilihan ganda dengan durasi waktu dua jam untuk mengerjakan. Berbeda dengan pelaksaan ujian menggunakan sistem CBT, soal matapelajaran Sejarah hanya berjumlah 30 soal pilihan ganda dengan durasi waktu 30 sampai 40 menit. Berdasarkan hasil wawancara dengan bapak Nur Kholis selaku guru Matapelajaran Sejarah kelas X dan XI pada tanggal 10 Desember 2018, sejak tahun 2016 MAN I Blitar tidak lagi tergabung dalam Kelompok Kerja Madrasah. Sehingga pembuatan soal untuk Ujian Akhir Semester dan Penilan Akhir Tahun tidak lagi dilakukan kerjasama antara beberapa guru matapelajaran dari sekolah lainnya, melainkan dilakukan oleh masing-masing guru matapelajaran di MAN 1 Blitar. Soal untuk Penilaian Akhir Tahun Matapelajaran Sejarah kelas X dan XI dibuat oleh Bapak Nur Kholis. Beliau meragukan kualitas soal yang telah diujikan kepada siswa. Beliau berpendapat bahwa dari materi Matapelajaran Sejarah yang disarikan menjadi 30 soal sebagai tes Penilaian Akhir Tahun dirasa masih kurang untuk mengukur kemampuan kognitif siswa. Sementara soal yang diujikan kepada siswa juga belum melalui tahap analisis baik secara kuantitatif maupun kualitatif untuk mengetahui kualitas soal. Tes buatan guru adalah tes yang disusun oleh guru yang akan mempergunakan tes tersebut. Tes ini bisanya digunakan dalam ulangan harian, formatif, dan ulangan umum (sumatif). Tes buatan guru ini dimaksudkan untuk mengukur tingkat penguasaan peserta didik terhadap materi pelajaran yang sudah disampaikan. Maka dari itu, guru membuat soal secara logis dan rasional mengenai pokok-pokok materi apa saja yang patut dan seharusnya ditayakan sebagai bahan pengetahuan penting untuk diketahui dan dipahami oleh peserta didiknya. Kualitas tes atau kesahihannya dan kendalanya masih belum menjamin keobjektifannya, sebab hanya diberikan pada sekelompok peserta didik, kelas atau sekolah tertentu saja. Jadi masih bersifat sektoral, karena belum diujicobakan kepada kelompok besar sehingga pengukurannya masih belum meyakinkan (Arifin, 2013:119). Berdasarkan hasil observasi dan wawancara dengan panitia penyelenggara ujian berbasis CBT di MAN 1 Blitar pada bulan Desember 2018, pihak sekolah dari tahun ke tahun melakukan evaluasi penyelenggaraan ujian berbasis CBT agar pelaksanaan ujian dapat berjalan dengan lancar. Beberapa kali sekolah membeli program aplikasi untuk pengadaan tes berbasis CBT dan memilih aplikasi mana yang sekiranya tepat sesuai  keperluan dan fasilitas sekolah. Walaupun penyelengaraan ujian berbasis CBT terus dilakukan evaluasi dan perbaikan, akan tetapi untuk evaluasi dari instrumen tes atau soal ujian yang akan diaplikasikan dalam sistem CBT belum dilakukan. Keberhasilan pelaksanaan pembelajaran Sejarah di tingkat Sekolah Menengah Atas harus dievaluasi secara komprehensif baik dari segi kualitas proses maupun hasil belajar. Hal ini dikarenakan hasil pembelajaran Sejarah dipengaruhi dari kualitas proses belajar mengajar. Kinerja guru yang baik dalam proses belajar mengajar akan berpengaruh terhadap motivasi siswa, sikap siswa serta hasil belajar siswa. Hasil pembelajaran Sejarah tidak hanya mencakup kecakapan akademik saja, namun diharapkan juga tumbuhnya kesadaran sejarah dan nasionalisme pada diri siswa (Aman, 2011:131-132). Melalui Kurikulum 2013, evalusi hasil belajar lebih ditekankan pada penilaian autentik. Penilaian autentik adalah kegiatan menilai peserta didik baik proses maupun hasil yang disesuaikan dengan tuntutan kompetensiyang ada pada Standar Kompetensi atau Kompeteni Inti dan Kompetensi Dasar. Penilaian autentik mengacu pada pencapaian hasil belajar didasarkan pada posisi skor yang diperoleh peserta didik terhadap skor ideal. Dengan demikian pencapaian kompetensi peserta didik tidak dalam konteks dibandingkan dengan peserta didik lainya, melainkan dibandingkan dengan stadar atau kriteria tertentu, yaitu Kriteria Ketuntasan Minimal (KKM) (Kunandar, 2015:35-36). Berdasarkan wawancara peneliti pada tanggal 10 Desember 2018 dengan Bapak Nur Kholis selaku guru Matapelajaran Sejarah kelas X IIS dan XI IIS, beliau mengamati minat belajar siswa di kelas cukup baik. Akan tetapi jika dilihat hasil tes Penilaian Akhir Tahun matapeljaran Sejarah pada tahun ajaran 2017/2018, rata-rata hasil nilai yang diperoleh siswa masih di bawah Kriteria Ketuntasan Minimun (KKM) yaitu sebesar 75. Melalui evaluasi, guru dapat mengetahui tingkat ketercapaian pembelajaran. Akan tetapi hasil penilaian secara langsung dari hasil belajar siswa dalam menjawab tes belum tentu menggambarkan hasil yang sesungguhnya dalam pengukuran. Selain itu dibutuhkan kekonsistenan pelaksana dan penilai dalam mengukur hasil tes. Kecanggihan alat ukur modern belum tentu bermanfaat bagi peserta didik, selama hal itu belum dilakukan secara maksimal.  Pentingnya analisis butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT matapelajaran Sejarah Kelas X IIS MAN 1 Blitar perlu dilakukan dikarenakan penilaian tersebut tidak hanya bertujuan untuk mengetahui keberhasilan peserta didik menguasai kompetensi dan keberhasilan proses pembelajaran yang dilakukan guru. Melainkan juga digunakan untuk mengambil keputusan terhadap keberlanjutan peserta didik untuk menempuh materi dan jenjang kelas berikutnya, serta memberikan informasi kepada orang tua tentang mutu dan efektivitas pembelajaran yang dilakukan sekolah. Menurut Kunandar (2015:43) melalui Kurikulum 2013 penilaian autentik menjadi titik fokus bagi guru dalam melakukan penilaian hasil belajar peserta didik dengan memerhatikan segala minat, potensi dan prestasi secara komprehensif. Maka penilaian autentik dari hasil belajar siswa yang didasarkan pada PAT dengan menggunakan instrumen tes yang belum melalui uji validitas, dikhawatirkan kurang dapat mengukur kompetensi siswa dengan baik dan menghasilkan penilaian yang kurang akurat.

 

METODE

Rancangan penelitian ini menggunkaan pendekatan campuran yang mengkombinasikan antara pendekatan kualitatif dan kuantitaif. Penelitian metode campuran merupakan pendekatan yang mengkombinasikan atau mengasosiasikan bentuk kualitatif dan kuantitatif. Penggunaan metode kualitatif dan kuantitatif dalam penelitian bertujuan untuk memperoleh data kualitatif dan kuantitatif yang digunakan sebagai bukti empiris dalam menjawab rumusan masalah penelitian (Rachman, 2015:241-242). Menurut Creswell (2016:288) penggunaan pendekatan campuran dalam suatu penelitian diasumsikan untuk saling melengkapi kekurangan dari masing-masing pendekatan. Penelitian campuran bertujuan mengkombinasikan dua bentuk data yang menyajikan dua jenis informasi yang berbeda, yaitu berupa data terbuka (open-ended) dalam kajian kualitatif dan data tertutup (close-ended) dalam kajian kuantitatif. Dari dua jenis data tersebut kemudian dideskripsikan hasilnya untuk memperoleh analisis yang komprehensif. Jenis penelitian ini merupakan penelitian deskriptif. Sudaryono (2017:82) berpendapat bahwa penelitian deskriptif merupakan suatu desain penelitian terhadap masalah-masalah berupa fakta-fakta saat ini yang bertujuan penelitian untuk mendeskripsikan suatu keadaan atau fenomena-fenomena apa adanya guna menjawab pertanyaan-pertanyaan yang berkaitan dengan current status subjek yang diteliti. Peneliti tidak melakukan manipulasi atau memberikan perlakuan-perlakuan tertentu terhadap objek yang diteliti. Sependapat dengan Cresswell (2016:276) yang mengatakan bahwa penelitian deskriptif adalah metode penelitian yang berusaha menggambarkan dan menginterpretasikan objek apa adanya. Penelitian ini sering disebut juga sebagai penelitian non-experimen karena peneliti tidak melakukan kontrol dan tidak memanipulasi valiabel penelitian. Tujuan utama penelitian deskriptif adalah menggambarkan secara sisteatis fakta dan karakteristik objek penelitian secara tepat. Kerangka penelitian ini mengadopsi desain metode campuran skuensial eksplanatori. Pendekatan ini melibatkan proyek dua fase dimana pada fase pertama peneliti mengumpulkan data kuantitaif untuk dianalisis dan membuat rencana fase kedua yaitu pengambilan data kualitatif (Creswell, 2016:299). Penelitian analisis soal pilihan ganda Penialaian Akhir Tahun berbasis CBT matapelajaran Sejarah Kelas X IIS menggunakan pendekatan kuantitatif untuk menemukan permasalahan dalam butir soal yang telah diujikan kepada siswa dengan menganalisis indeks tingkat kesulitan, indeks daya beda dan efektivitas distraktor. Analisis data secara kualitatif digunakan untuk menganalisis butir soal berdasarkan telaah butir soal dari aspek substansi/materi, konstruksi dan bahasa. Menurut Creswell (2016:299) tujuan rancangan ini secara keseluruhan adalah untuk membantu data kualitatif menerangkan data hasil kuantitatif awal. Prosedur khusus statistik digunakan untuk menganalisis butir soal dari aspek indeks tingkat kesulitan, indeks daya beda dan efektivitas distraktor. Dari hasil analisis butir soal secara empiris kemudian menindaklanjuti dengan telaah butir soal dari aspek materi, konstruk dan bahasa untuk menemukan permasalahan dalam butir soal yang telah diujikan kepada siswa. Penelitian ini menganalisis semua elemen yang ada di dalam populasi, sehingga subjeknya meliputi seluruh populasi. Dengan demikian penelitian ini termasuk dalam studi populasi atau studi sensus dan yang menjadi populasi dalam penelitian ini adalah seluruh butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT pada matapelajaran Sejarah kelas X IIS tahun ajaran 2017/2018 yang berjumlah 30 butir soal. Instrumen pengumpulan data adalah alat bantu yang dipilih dan digunakan oleh peneliti agar kegiatan dalam pengumpulan data lebih sistematis. Data yang dikumpulkan dalam penelitian akan digunakan untuk menguji hipotesis atau menjawab pertanyaan yang telah dirumusankan (Sudaryono, 2017:206-207). Penelitian ini menggunakan lembar telaah butir soal pilihan ganda sebagai instrumen pengumpulan data untuk menelaah butir soal secara kualitatif (validitas isi) dilihat dari segi materi, konstruksi, dan bahasa. Analisis butir soal secara kualitatif dilakukan menggunkan lembar telaah analisis butir soal untuk mengukur kualitas tiap soal berdasarkan aspek substansi/materi, konskruksi dan bahasa. Lembar telaah butir soal ini mengikuti Instrumen Evalusia Diri Sekolah (EDS) tentang Standar Nasional Pendidikan yang dikeluarkan oleh Badan Pengembangan Sumber Daya Manusia Pendidikan dan Pengembangan Mutu Pendidikan Kementerian Pendidikan dan Kebudayaan pada tahun 2012. Penggunaan lembar telaah ini dikarenakan setelah Kurikulum 2013 diberlakukan, pemerintah masih belum mengeluarkan instrumen evaluasi mengenai Standar Nasional Pendidikan, khususnya Instrumen Evaluasi Diri Sekolah yang berkaitan dengan tes. Butir soal yang akan dianalisi merupakan soal Penialaian Akhir Tahun berbasis CBT matapelajaran Sejarah Kelas X IIS tahun ajaran 2017/2018. Jenis soal yang akan dianalisis merupakan soal objektif berbentuk pilihan ganda. Secara teknis soal ini diujikan kepada siswa dengan menggunakan komputer atau Tes Berbasis Komputer (Computer Based Test). Teknik pengumpulan data dalam proses penelitian ini menggunakan teknik studi dokumenter. Studi dokumenter (documentary study) merupakan suatu teknik pengumpulan data dengan menghimpun dan menganalisis dokumen-dokumen, baik dokumen tertulis, gambar maupun elektronik. Dokumen yang dihimpun dipilih sesuai dengan fokus masalah dan tujuan penelitian. Studi dokumenter tidak sekadar mengumpulkan dan melaporkan dalam bentuk kutipan-kutipan tentang sejumlah dokumen, melainkan dilakukan analisis terhadap dokumen. Bagian-bagian tertentu dari dokumen yang dianggap sebagai fokus utama dapat disajikan dalam bentuk kutipan utuh. Hasil laporan penelitian disajikan dalam rangkaian uraian hasil analisis (Sukmadinata, 2016:212-222). Teknik studi dokumenter digunakan untuk mengumpulkan data-data dengan melihat bahan-bahan dokumentasi yang ada di MAN 1 Blitar, khususnya yang berkaitan dengan soal dan hasil tes Penilaian Akhir  Tahun berbasis CBT matapelajaran Sejarah kelas X IIS MAN 1 Blitar tahun ajaran 2017/2018, transkrip nilai, soal ujian, laman jawaban siswa, kunci jawaban dan kisikisi soal. Hasil data tersebut peneliti peroleh secara langsung dari dokumentasi guru pengampu matapelajaran Sejarah kelas X IIS, panitia penyelenggara ujian berbasis CBT dan pengelola sistem ujian CBT. Analisis data dalam penelitian ini dilakukan terhadap butir soal pilihan ganda Penialain Akhir Tahun berbasis CBT pada matapelajaran Sejarah Kelas X IIS tahun ajaran 2017/2018 secara kualitatif dan kuantitatif. Menurut Anastasi dan Urbina (dalam Kusaeri & Suprananto, 2012:163) analisis butir soal secara kualitatif mencakup pertimbangan validitas isi yang dilihat dari aspek materi/substansi, konstruksi dan bahasa atau budaya. Sementara analisis secara kuantitatif mencakup pengukuran tiga komponen yaitu indeks tingkat kesukaran, indeks daya beda dan efektivitas distraktor. Kedua teknik ini memiliki keunggulan dan kelemahan masingmasing. Oleh kareka itu untuk mendapatkan hasil analisis yang baik maka dapat memadukan kedua teknik tersebut.

 

1. Analisis Kuantitaif

Penelaahan butir soal secara kuantitatif didasarkan pada data empirik. Data empirirk ini diperoleh dari soal yang telah diujikan. Teknik analisis butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT matapelajaran Sejarah secara kuantitatif menggunakan teori pengukuran klasik dengan bertujuan menganalisis reliabilitas butir soal yang mencakup Indeks Tingkat Kesukaran, Indeks Daya Beda, dan efektivitas distraktor. Analisis butir secara klasik adalah proses penelaahan butir soal melalui informasi dari jawaban peserta tes (Kusaeri & Suprananto, 2012:173). Aanlisi butir soal secara kuantitatif dalam penelitian ini menggunakan bantuan program aplikasi ITEMAN versi 3.0.

 

2. Analisis Kualitatif

Ada dua hal yang penting yang perlu diperhatikan dalam menganalisis data kualitataif, yaitu penafsiran dan pemaknaan data. Ketepatan penafsiran dan pemaknaan data bergantung pada ketajaman analisis, bukan pada hitungan statistika (Arifin, 2012:162). Analisis data secara kualitatif digunakan untuk mengetahui validitas isi (rasional) tes dilihat dari segi materi/substansi, konstruksi, dan bahasa dari setiap butir soal menggunakan lembar telaah analisis butir soal yang diambil dari  Instrumen Evalusia Diri Sekolah (EDS) tentang Standar Nasional Pendidikan yang dikeluarkan oleh Badan Pengembangan Sumber Daya Manusia Pendidikan dan Pengembangan Mutu Pendidikan Kementerian Pendidikan dan Kebudayaan pada tahun 2012 Metode analisis butir soal secara kualitatif menggunakan metode pertimbangan ahli (expert judgement). Pertimbangan ahli diperlukan untuk menelaah butir soal berdasarkan aspek materi/substansi, konstruksi dan bahasa. Proses analisis data dengan pertimbangan ahli dilakukan dengan teknik panel, yakni teknik menelaah butir soal bedasarkan kaidah penulisan butir soal. Kaidah penulisan butir soal yaitu diantaranya materi/susbtansi, konstruksi, bahasa atau budaya serta kebenaran kunci jawaban. Teknik panel membutuhkan beberapa penelaah minimal 2 orang ahli untuk memberikan penilaiaan butir soal. Para penelaah akan diberikan butir-butir soal yang akan ditelaah, format penelaahan, dan pedoman penelaahan (Kusaeri & Suprananto, 2012:165). Pertimbangan ahli yang dibutuhkan dalam penelitian ini adalah 2 (dua) orang ahli yang mampu mengevaluasi butir soal di bidang Sejarah. Hal ini dilakukan berdasarkan metode pengukuran relevansi validitas isi yang dikemukan oleh Gregory (2000). Menurut Retnawati (2016:26) dalam suatu penelitian, validitas isi dapat dibuktikan melalui ahli yang menilai relevansi tiap butir instrumen kemudian hasil penilaian ini digunakan untuk menghitung indeks kesepakatan ahli dengan indeks Aiken atau indeks Gregory. Ahli yang telah peneliti pilih untuk menjadi penelaah butir soal yaitu Lutfiah Ayundasari, S.Pd., M.Pd dan Wahyu Djoko Sulistyo, S.Pd., M.Pd. Kedua ahli tersebut adalah dua orang panelis sebagai penelaah butir soal yang telah ditetapkan oleh peneliti, sehingga teknik ini disebut juga sebagai teknik panel (Kusaeri dan Suprananto, 2012: 165). Kriteria yang digunakan untuk menetapkan penelaah ini adalah penelaah minimal sudah lulus kependidikan S1 jurusan kependidikan Sejarah, memiliki pengalaman dalam menyususn tes matapelajaran Sejarah di tingkat satuan pendidikan atau regional serta pernah atau sedang mengajar matapelajaran Sejarah di jenjang sekolah menengah. Pada tahap awal, penelaah diberikan butir-butir soal yang akan ditelaah, format penelaahan, dan pedoman penelaahan. Setelah itu, para penelaah disamakan persepsinya kemudian mereka bekerja sendiri-sendiri di tempat berbeda (Kusaeri dan  Suprananto, 2012: 165). Penelaah cukup memberikan tanda centang pada kolom format penelaahan butir soal apabila butir soal memenuhi kriteria yang ada di aspek penelaahan. Setelah hasil telaah dari panelis terkumpul, peneliti meminta pendapat dan mengkonsultasikan hasilnya pada ahli evaluasi pembelajaran Sejarah, yaitu Bapak Dr. Joko Sayono, M.Pd., M. Hum. Hasil analisis dari kedua penelaah kemudian digabungkan agar dapat terlihat tingkat relevansi penialian kedua panelis. Metode statistik untuk menentukan validitas isi keseluruhan tes dari penilaian ahli menggunakan pendekatan yang digunakan untuk menghitung indeks kesepakatan ahli (rater agreement) yaitu indeks Aiken V atau indeks Gregory. Indeks Gregory merupakan indeks untuk menunjukkan kesepakatan hasil penilaian para ahli tentang validitas, baik untuk butir maupun untuk perangkatnya Ketika dua penelaah mengevaluasi masing-masing item tes, hasil telaah dari masing-masing penelaah pada setiap item bisa jadi akan berbeda untuk setiap item. Maka, hasil telaah dari kedua penelaah dapat dimasukkan ke dalam tabel tabulasi silang (two by two) (Retnawati, 2016:28).

 

HASIL DAN PEMBAHASAN

Penelitian ini menggunakan dua pendekatan untuk menganalisis data yaitu kuantitatif dan kualitatif guna mengetahui kualitas soal pilihan ganda Penilaian Akhir Tahun berbasis CBT pada matapelajaran Sejarah Kelas X IIS MAN 1 Blitar Tahun Ajaran 2017/2018 yang telah dilaksanakan pada 14 Mei 2018. Data penelitian ini diambil pada bulan Desember 2018 hingga Februari 2019. Soal Penialian Akhir Tahun matapelajaran Sejarah yang diujikan kepada siswa merupakan soal pilihan ganda yang berjumlah 30 butir soal. Penyajian data yang digunakan dalam penelitian ini yakni terdiri dari data hasil analisis butir soal secara kuantitatif menggunakan bantuan program aplikasi ITEMAN v.3.0 dan hasil analisis data secara kualitatif oleh penelaah butir soal (expert judgment) dengan teknik panel yang menggunakan lebar telaah butir soal. Berdasarkan tujuan penelitian, analisis buir soal dilakukan secara kuantitatif untuk mengetahui aspek tingkat kesukaran, daya beda dan efektivitas distraktor, serta analisis secara kualitatif ditelaah berdasarkan aspek materi/ substansi, konstruksi dan bahasa. Berikut hasil analisis data penelitian terhadap butir soal pilihan ganda  Penilaian Akhir Tahun berbasis CBT Kelas X IIS MAN 1 Blitar Tahun Ajaran 2017/2018.

 

1. Hasil Analisis Data Empirik (Tingkat Kesukaran, Daya Beda dan Efektivitas Distraktor Butir Soal).

Berdasarkan hasil penelitian Analisis Butir Soal Pilihan Ganda Penilaian Akhir Tahun Mata Pelajaran Sejarah Kelas X IIS MAN 1 Blitar dapat diketahui bahwa kualitas butir soal secara kuantitatif diantaranya sebagai berikut.

a. Indeks Tingkat Kesukaran.

Butir soal dengan kategori “Mudah” adalah butir soal yang memiliki nilai indeks tingkat kesukaran antara 0,71-1,00. Butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT Matapelajaran Sejarah Kelas X IIS MAN 1 Blitar dengan kategori ini yaitu butir soal nomor 2, 5, 13, 15, 19, 21, 22, 23, 26, dan 28 yakni berjumlah 10 butir soal dengan prosentase 33,3%. Butir soal kategori “Sedang”, adalah butir soal dengan nilai indeks kesukaran berada pada rentang 0,31-0,70. Butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT Matapelajaran Sejarah Kelas X IIS MAN 1 Blitar dengan kategori ini berjumlah 16 butir soal yaitu butir soal dengan nomor 1, 3, 4, 6, 9, 10, 11, 12, 14, 16, 17, 18, 25, 27, 29 dan 30 dengan prosentase 53,3%. Butir soal dengan kategori “Sukar” adalah butir soal yang memiliki indeks kesukaran 0,00 sampai dengan 0,30. Butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT Matapelajaran Sejarah Kelas X IIS MAN 1 Blitar dengan kategori ini terdapat 4 butir soal dari 30 soal pilihan ganda dengan prosentase 13,3% yang terdiri dari butir soal nomor 7, 8, 20 dan 24.

b. Daya Beda Butir Soal

Butir soal dengan daya beda “Buruk”, adalah butir soal dengan nilai daya beda berada pada rentang 0,00 sampai dengan 0,20. Butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT Matapelajaran Sejarah Kelas X IIS MAN 1 Blitar Tahun Ajaran 2017/2018 yang termasuk dalam kategori ini adalah butir soal nomor 11, 12, 23 dan 24 dengan prosentase 13,3%. Daya beda butir soal dengan kategori “Cukup” adalah butir soal dengan nilai daya beda 0,21-0,40. Butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT Matapelajaran Sejarah Kelas X IIS MAN 1 Blitar Tahun Ajaran 2017/2018 yang  termasuk dalam kategori ini sebanyak 11 butir soal dengan prosentase 36,7% yaitu diantaranya butir soal nomor 1, 2, 4, 10, 14, 15, 18, 20, 26, 28 dan 29. Kategori daya beda “Baik” dinyatakan pada butir soal yang memiliki nilai daya beda antara 0,41 sampai dengan 0,70. Butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT Matapelajaran Sejarah Kelas X IIS Tahun Ajaran 2017/2018 dengan kategori ini berjumlah 11 butir soal dengan prosentase 36,7% yang terdiri dari nomor butir soal 3, 5, 6, 13, 16, 17, 19, 21, 25, 27 dan 30. Butir soal dengan daya beda “sangat baik” adalah butir soal yang meiliki nilai daya beda antara 0,71 sampai dengan 1,00. Butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT Matapelajaran Sejarah Kelas X IIS Tahun Ajaran 2017/2018 yang memiliki kategori daya beda “sangat baik” hanya terdapat 1 dari 30 butir soal dengan prosentase 3,3% yaitu butir soal dengan nomor 22. Nilai indeks daya beda “Negatif” pada butir soal menunjukkan bahwa butir soal tidak mampu membedakan antara responden (siswa) yang pandai dan tidak pandai karena menunjukkan hasil yang berkebalikan. Artinya butir soal dapat dijawab dengan benar olehkelompok bawah (kelompok siswa yang kurang pandai) daripada kelompok atas (kelompok siswa yang pandai). Butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT Matapelajaran Sejarah Kelas X IIS Tahun Ajaran 2017/2018 yang memiliki nilai daya beda “negatif” (-) yaitu adalah butir soal dengan nomor 7, 8 dan 9 dengan prosentase 10%.

 

c. Efektivitas Distraktor (Pengecoh) Butir Soal Pilihan Ganda.

Efektivitas distraktor (pengecoh) dengan kategori “Sangat baik” yaitu butir soal dengan kualitas semua pengecoh yang berjumlah 4 opsi berfungsi dengan baik. Butir soal yang memiliki efetivitas pengecoh dengan kategori “sangat baik” yaitu terdapat pada butir soal nomor 14 dan 25. Efektivitas distraktor (pengecoh) dengan kategori “Baik” yaitu apabila opsi pengecoh yang berfungsi dengan baik berjumlah 3 distraktor (pengecoh). Butir soal dengan efektivitas distraktor (pengecoh) “baik” berjumlah 15 butir soal (50%) yakni butir soal nomor 1, 3, 4, 6, 10, 11, 12, 15, 16, 17, 19, 27, 28, 29 dan 30. Efektivitas distraktor (pengecoh) dengan kategori “Cukup” yaitu butir soal dengan kualitas pengecoh yang berfungsi dengan bak berjumlah 2 pilihan (opsi).  Butir soal dengan efektivitas distraktor “cukup” sebanyak 7 butir soal dengan prosentase 26,7%, yaitu butir soal dengan bernomor 7, 8, 9, 13, 18, 20, dan 22. Efektivitas distraktor (pengecoh) dengan kategori “Buruk” yaitu butir soal dengan kualitas pengecoh yang berfungsi dengan baik hanya ada 1 pilihan (opsi). Butir soal dengan efektivitas distraktor “buruk” sebanyak 5 butir soal dengan prosentase 16,7%, yaitu butir soal dengan bernomor 2, 5, 21, 23, dan 26.

 

2. Hasil Analisis Kesesuaian Penulisan Butir Soal terhadap Aspek Materi, Konstruksi dan Bahasa.

Analisis kualitas butir soal secara kualitatif dilakukan berdasarkan kondisi apa adanya dari butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT matapelajaran Sejarah Kelas X IIS Tahun Ajaran 2017/2018 dengan melihat penulisan butir soal berdasarkan aspek materi, konstruksi dan bahasa. Analisis dilakukan dengan menggunakan lembar telaah butir soal pilihan ganda dalam Instrumen Evaluasi Diri Sekolah yang dikeluarkan oleh Badan Pengembangan Sumber Daya Manusia Pendidikan dan Pengembangan Mutu Pendidikan Kementerian Pendidikan dan Kebudayaan Tahun 2012. Pembobotan nilai kriteria hasil telaah dilakukan secara dikotomis (1 dan 0) yaitu nilai 1 untuk penilaian penelaah terhadap butir soal yang menyatakan “sesuai” dengan kriteria dan nilai 0 untuk penilaian penelaah yang menyatakan bahwa butir soal “tidak sesuai” dengan kriteria yang ditetapkan pada lembar analisis butir soal. Hasil analisis data butir soal secara kualitatif di jelaskan sebagai berikut. Bedasarkan hasil teaah butir soal yang dilakukan oleh panelis ahli dapat diketahui bahwa sebanyak 30 butir soal yang ditelaah lebih lanjut untuk mengetahui kualitas buitr soal dengan berdasarkan aspek materi, konstruksi dan bahasa memenuhi kriteria koefisien validitas isi berdasarkan indeks Gregory (2000) dengan ketentuan minimal 0,60. Hasil penelaahan kedua panelis ahli terhadap butir soal pilihan gandan Penilaian Akhir Tahun berbasis CBT matapelajaran Sejarah Kelas X IIS Tahun Ajaran 2017/2018 diperoleh nilai koevisien validitas isi tertinggi sebesar 0,88 sebanyak 3 butir soal dengan item soal diantaranya adalah nomor 10, 11, 12. Sementara nilai koevisien validitas isi terendah yaitu butir soal nomor 14 dan 16 dengan nilai koevisien validitas isi sebesar 0,63. Dari rentang nilai koefisien validitas isi terendah hingga tertinggi dapat dinyatakan bahwa semua butir soal memenuhi kriteria indeks Gregory (2000) dan hasil kedua penelaah dapat dikategorikan relevan. Hasil penelaahan dapat dikategorikan relevan apabila koevisien validitas isi mencapai nilai sebesar 0,60 sampai dengan 1,00. Hasil analisis butir soal pilihan ganda secara kualitatif berdasarkan peilaian penelaah dengan teknik panel terhadap Penilaian Akhir Tahun berbasis CBT matapelajaran Sejarah Kelas X IIS Tahun Ajaran 2017/2018 dengan melihat aspek materi tergolong cukup baik. Sebesar 95% rata-rata butir soal dinyatakan baik dari aspek materi dan sebesar 5% dinyatakan buruk karena butir soal tidak sesuai atau tidak memenuhi semua kriteria dalam penulisan butir soal dari segi aspek materi. Kualitas butir soal dari aspek konstruksi rata-rata telah memenuhi kriteria sebesar 73,1% dan butir soal yang belum memenuhi kriteria sebesar 26,9%. Sedangkan kualitas butir soal dari aspek bahasa rata-rata telah memenuhi kriteria sebesar 91,3% dan butir soal yang belum memenuhi kriteria sebesar 8,8%.

 

KESIMPULAN DAN SARAN

1. Simpulan

Berdasarkan hasil penelitian Analisis Butir Soal Pilihan Ganda Penilaian Akhir Tahun Mata Pelajaran Sejarah Kelas X IIS MAN 1 Blitar dapat disimpulkan bahwa secara keseluruhan butir soal memiliki kriteria cukup baik sebesar 71% yang meliputi hasil analisis tingkat kesukaran, daya pembeda, dan efektivitas pengecoh yang dilakukan dengan pendekatan kuantitatif. Kualitas butir soal secara kuantitatif diketahui berdasarkan pada:

(1) Indeks Tingkat Kesukaran. Tingkat kesukaran butir dengan kategori baik sebesar 76,7% yakni proporsi butir soal dengan kriteria “mudah”, “sedang”, dan “sukar” diantaranya merupakan butir soal nomor 1, 3, 4, 6, 9, 10, 11, 12, 13,14, 15, 16, 17, 18, 19, 20, 21, 22, 25, 27, 28, 29, dan 30.

(2) Indeks Daya Beda, daya beda butir soal dengan kategori baik sebesar 77 % yaitu butir soal dengan nomor antara lain 1, 2, 3, 4, 5, 6, 10, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 25, 26, 27, 28, 29 dan 30. (3) Efektivitas Distraktor. Pilihan jawaban pengecoh yang berfungsi dengan secara efektif sebesar 60% yaitu diantaranya butir soal bernomor 1, 3, 4, 6, 10, 11, 12, 14, 15, 16, 17, 19, 24, 25, 27, 28, 29, dan 30. Ditinjau dari hasil analisis validitas isi yang dilakukan dengan pendekatan kualitatif dapat disimpulkan secara keseluruhan butir soal dapat dikatakan baik sebesar 86% yang meliputi hasil telaah butir soal berdasarkan aspek materi, konstruksi dan bahasa Hasil analisis secara kualitatif terhadap butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT matapelajaran Sejarah Kelas X IIS MAN 1 Blitar diketahui berdasarkan pada:

(1) Telaah panelis terhadap butir soal berdasarkan aspek materi. Rata-rata penilaian hasil telaah panelis pada aspek materi sebesar 95%. Hasil analisis butir soal terhadap kesesuaian indikator tidak terukur secara baik karena guru sebagai evaluator tidak membuat kisi-kisi soal dalam prosedur penyusunan butir soal. Dikarenakan ketiadaan indikator soal yang seharusnya terdapat dalam kisi-kisi soal, sehingga untuk melihat kesesuaian butir soal dengan indikator, sebagai gantinya menggunakan Kompetensi Dasar yang tertera pada silabus dan hasil analisis menunjukkan semua butir soal sesuai dengan kompetensi atau indikator.

(2) Telaah penlis terhadap butir soal berdasarkan aspek konstruksi. Ratarata penilaian hasil telaah panelis pada aspek konstruksi sebesar 72.8%.

(3) Telaah penlis terhadap butir soal berdasarkan aspek bahasa. Rata-rata penilaian hasil telaah panelis pada aspek bahasa sebesar 91.3%.

 

2. Saran

Guna mengembangkan penelitian lebih lanjut, peneliti memiliki beberapa saran yakni untuk mengembangkan penelitian evaluasi sejarah dari aspek yang lain, mengingat perkembangan teknik evaluasi menggunakan komputer sangat memungkinkan berbagai aspek digunakan dalam evaluasi, tidak hanya gambar, grafik atau tabel melainkan audio dan video dapat menjadi bagian dari butir soal yang diaplikasikan dalam tes berbasis komputer (CBT). Bagi guru sebagai pembuat instrumen soal, dalam merancang butir soal sebagai instrumen tes yang akan dijadikan sebagai alat ukur evaluasi, sebaiknya guru menjalankan semua proses yang sudah menjadi prosedur penyusunan butir soal karena apabila butir soal yang akan dijadikan bahan ujian masih belum diketahui kualitasnya baik atau tidak, maka hasil evaluasi dapat menajdi kurang akurat. pembuat instrumen soal perlu memperhatikan fungsi kisi-kisi soal baik secara teknis maupun subtansi. Hal ini dikarenakan kisi-kisi soal dapat membantu guru atau pembuat soal guna menyusun butir soal secara tersetruktur mulai dari Kompetensi Dasar, materi yang diujikan, ranah kognitif yang ingin diukur dan indikator soal  secara baik sehingga tujuan instrumen soal lebih terarah sebagai alat ukur kompetensi siswa. Bagi sekolah sebagai satuan pendidikan yang menyelenggarakan kegiatan Penilaian Akhir Tahun bagi peserta didik, proses evaluasi dalam penilaian hasil belajar siswa untuk lebih ditingkatkan lagi, tidak hanya evaluasi secara teknis dalam pelaksaan ujian berbasis CBT melainkan juga evaluasi terhadap soal yang akan digunakan sebagai instrumen untuk mengukur kompetensi siswa. Hal ini juga berkaitan erat dengan proses evaluasi yang merupakan bagian penting dari pembelajaran sebagai upaya untuk meningkatkan kualitas peserta didik dalam proses pembelajaran.

 

DAFTAR RUJUKAN

Aman. 2011. Model Evaluasi Pembelajaran Sejarah. Yogyakrta:Penerbit Ombak. Arifin, Z.a 2012. Penelitian Pendidikan: Metode dan Paradigma Baru. Bandung: PT. Remaja Rosdakarya.

Arifin, Z.b 2013. Evaluasi Pembelajaran; Prinsip Teknik Prosedur, Bandung: PT Remaja Rosdakarya.

Creswell. J. W. 2016. Reseach Design: Pendekatan Metode Kualitatif, Kuantitatif, dan Campuran. Terjemahan Ahmad Fawaid & Rianayati K. Pancasari.

Yogyakarta: Pustaka Pelajar.Sudaryono Gregory, R.J. 2000. Psychological Testing: History, Principles, and Applications. 3rd ed. Needham Heights:P. M. Gordon Associates.

Kunandar. 2015. Penilaian Autentik: Penilaian Hasil Belajar Peserta Didik berdasarkan Kurikulum 2013 suatu Pendekatan Praktis disertai Dengan Contoh. Jakarta: Rajawali Pers.

Kusaeri, 2014. Acuan dan Teknik Penilaian Proses dan Hasil Belajar dalam Kurikulum 2013. Yogyakarta: Ar-Ruzz Media. Kusaeri & Suprananto. 2012. Pengukuran dan Penilaian Pendidikan. Yogyakarta:Graha Ilmu.

Rachman, M. 2015. Lima Pendekatan Penelitian:Kuantitatif, Kualitatif, Mixed, PTK, R&D. Yogyakarta:Magnum Pustaka Utama.

Retnawati, H. 2016. Analisis Kuantitaif Instrumen Penelitian:Panduan Peneliti, Mahasiswa dan Psikometrian. Yogyakarta: Perama Publishing.  Sudaryati, S. 2016. Pengembangan Online Test System Untuk Siswa Sekolah

Menengah Atas. Makalah diseminarkan pada Konferensi Nasional Penelitian Matematika dan Pembelajarannya (KNPMP I) Universitas Muhammadiyah Surakarta 12 Maret 2016. Dalam Publikasi Ilmiah UMS, (Online), (https://publikasiilmiah.ums.ac.id/bitstream/handle/11617/7012/74_38_Makal ah%20Rev%20Sri%20Sudaryati.pdf?sequence=1), diakses 26 Nopember 2018.

Sukmadinata, N. S. 2016. Metode Penelitian Pendidikan. Bandung: PT Remaja Rosdakarya.