SKRIPSI Jurusan Sastra Inggris - Fakultas Sastra UM, 2016

Ukuran Huruf:  Kecil  Sedang  Besar

Validating the Latent Factor Structures of the English National Examination 2015 for the Vocational High Schools

Nur Na'imah

Abstrak


ABSTRACT

 

Na’imah, Nur. 2016. Validating the Latent Factor Structures of the English National Examination 2015 for the Vocational High Schools. Thesis, English Department, Faculty of Letters, State University of Malang. Advisor: (1) Prof. Dr. Gunadi Harry Sulistyo, M.A., (II) Dr. Enny Irawaty, M.Pd.

Keywords: construct validity, English National Examination, blueprint, reading test, writing test.

Validity is one of the requirements that should be fulfilled to be a good test. A test is claimed to be valid if it really measures what it is supposed to measure. There are several types of validity in the assessment field, one of which is the construct validity. Construct validity is the main subject of the study. Hence, the aim of this study is to investigate the construct validity of the English National Test 2015 for the vocational high schools by first analyzing the elaboration process of the SKL into the blueprint and the reading and writing test items, second investigating the construct validity based on the try out and third theta reliability of the test.

A quantitative method was employed in this study by calculating the data in the form number. The data were obtained from the 784 respondents of the third graders of the vocational high school students of SMK Negeri 4 and SMK Negeri 11 Malang as the accessible population to re-administer the English test of the National Examination (NE) 2015 for the vocational high schools. The data obtained were used to evaluate the elaboration process from the Standard of Graduate Competences (SKL) into the blueprint and the reading and writing test items which was collected from Peraturan Kementrian Pendidikan dan Kebudayaan (Permendikbud) and Badan Standar Nasional Pendidikan (BSNP) as the institution which is dealt with the planning, implementing and monitoring the processof education in Indonesia and also Research and Development Board-KEMDIKBUD as the institution which implements the research and development of the education. The data were used to analyze the construct validity and theta reliability by collecting the result of the re-administered test from the accessible population. Confirmatory Factor Analysis (CFA) was employed to determine which items consistently load to the factor by comparing between the items created based on the underlying theories in the blueprint and the items load to the created factors after the extraction and rotation process. The theta reliability performed the stability of the test which was calculated manually by using Carmines and Zeller’s formula.

Through the elaboration process of the Standard of Graduate Competences (SKL) into the blueprint and the reading and writing test items, there were 8 factors created. The process elaboration performed the compatibility between the indicators in the blueprint and the reading and writing test items whether they already match. The factors were kata salah, informasi tersirat, informasi tertentu, informasi rinci, gambaran umum, makna kata, melengkapi dialog, and teks rumpang. However, there were only 6 factors remaining after the extraction and the rotation process which, then, informasi tertentu and informasi rinci were discarded. Then, the 35 test items were distributed into the 6 factors created after the extraction and the rotation process. Then, the process of elaboration the Standard of Graduate Competences (SKL) into the blueprint perfectly matched. However, the correspondence of the blueprint into the test item was less compatible since the text types written does not turn to the test items. Based on the factor analysis result, it revealed that 16 items (46%) out of 35 items consistently load to the 6 factors. The rest of the test items (54%) were reduced due to the inconsistency to the factors. The theta reliability presented the higher result than the alpha coefficient which was (.856 > .810) meaning that the test was claimed to be reliable on the repeated trials

The conclusion drawn from the research findings is the reading and writing test of the English NE 2015 for the vocational high schools lacks content validity and construct validity with the proof that the incompatibility occurred in the process of elaboration the blueprint into the reading and writing test items. Empirically, the result showed that 46% of the whole items had consistent load to the factor or measure what is intended to measure which means that the test has a quite good result. However, the test still lacks construct validity since it could not reach a half of the test to measure students’ reading and writing ability. The theta reliability was .856 which means that it is a good reliability since the standard as claimed to have high reliability should not be under .80.

The English national Examination is a high-stakes testing which means that the results should reach the level of good quality to be claimed as a good test because it affects many aspects and educational stakeholders. Therefore, the test should be reviewed to increase the validity by improving the quality of the test item and ensuring the indicators reflect to the reading and writing ability. 

ABSTRACT

 

Na’imah, Nur. 2016. Validitas Struktur Faktor Tersembunyi pada Ujian Nasional Bahasa Inggris Tahun 2015 untuk Sekolah Menengah Kejuruan. Skripsi, Jurusan Bahasa Inggris, Fakultas Sastra, Universitas Negeri Malang. Pembimbing: (1) Prof. Dr. Gunadi Harry Sulistyo, M.A., (II) Dr. Enny Irawaty, M.Pd.

Kata Kunci: validitas konstruk, ujian nasional bahasa inggris, kisi-kisi soal ujian, tes membaca, tes menulis

Validitas merupakan salah satu syarat yang harus dimiliki untuk menjadi tes yang baik. Sebuah test dikatakan valid apabila test tersebut benar-benar mengukur apa yang seharusnya diukur. Terdapat beberapa tipe validitas dalam ranah penilian, satu diantaranya yaitu validitas konstruk. Validitas construct menjadi fokus utama dalam penelitian ini. Oleh sebab itu, tujuan dari penelitian ini adalah untuk menguji validitas construct pada Ujian Nasional Bahasa Inggris tahun 2015 untuk sekolah menengah kejuruan tahun dengan mengupayakan penganaisaan terhadap proses pengembangan SKL menjadi kisi-kisi dan butir-butir soal membaca dan menulis serta menganalisa validitas konstruk yang berlandaskan pada hasil empiris dan juga reliabilitas theta dari test tersebut.

Metode quantitative diterapkan dalam penelitian ini dengan menghitung data-data dalam bentuk angka. Data diperoleh berasal dari 784 responden yang keseluruhannya merupakan siswa-siswi kelas tiga dari SMK Negeri 4 dan SMK Negeri 11 Malang direkrut sebagai populasi yang dapat diakses dalam pengujian ulang Ujian asiona Bahasa Inggris 2015 untuk sekolah menengah kejuruan. Data yang didapat digunakan untuk mengevaluasi proses pengembangan dari SKL menjadi kisi-isi soal dan butir-butir tes membaca dan menulis  yang didapatkan dari BSNP sebagai badan yang melaksanakan perencanaan, pelaksanaan, dan pengawasan pendidikan di Indonesia serta Balitbang-KEMENDIKBUD sebagai lembaga yang melaksanakan penelitian dan pengembangan pendidikan. Data-Data tersebut digunakan umtuk menguji validitas konstruk dan reliabilitas theta dengan mengumpulkan hasil dari proses pengujian ulang ujian nasional bahasa inggris yang mana berasal dari populasi yang bisa diakses. Dalam hal ini, analisis faktor konfirmatori diterapkan untuk menentukan butir-butir soal mana yang benar-benar mengukur faktor butir soal secara konsisten dengan membandingkan antara butir soal yang mengukur faktor berdasarkan teori yang tertera pada kisi-kisi soal dan butir soal yang mengukur faktor setelah proses ekstrasi dan rotasi. Reliabilitas theta menunjukkan kestabilan dari test tersebut dengan menghitung secara manual menggunakan rumus dari Carmines dan Zeller.

Melalui proses pengembangan dari SKL menjadi kisi-kisi soal dan butir-butir soal membaca dan menulis, terdapat 8 faktor terbentuk dari proses tersebut. Proses pengembangan menghasilkan apakah antara indikator yang terdapat dalam kisi-kisi soal dan butir-butir soal membaca dan menulis sudah menunjukan kesesuaian. Kedelapan faktor tersebut adalah kata salah, informasi tersirat, informasi tertentu, informasi rinci, gambaran umum, makan kata, melengkapi dialog, and teks rumpang. Akan tetapi, hanya 6 faktor tersisa setelah melalui proses ekstrasi dan rotasi yang mana kedua faktor yang terbuang adalah informasi tertentu and informasi rinci. Sebanyak 35 butir soal didistribusikan pada 6 faktor yang telah melalui proses ekstrasi dan rotasi. Dari hasil proses pengembangan SKL menjadi kisi-kisi soal keseluruhan cocok. Akan tetapi, kesesuaian antara kisi-kisi soal dan butir-butir soal mengalami ketidakcocokan dikarenakan adanya salah saatau jenis teks yang tidak tertera dalam butir soal. Berdasarkan hasil yang diperoleh menunjukkan bahwa ada 16 butir soal atau sekitar 46% dari 35 butir soal yang secara konsisten mengukur 6 faktor yang telah terbentuk. Dan sekitar 54% dari butir-butir soal terbuang dikarenakan ketidakkonsistenan butir soal terhadap faktor. Reliabilitas theta menghasilkan hasil yang lebih baik dibandingkan dengan koeficien alfa yang mana (.856 > .810) yang diinterpretasikan bahwa test tersebut memiliki reliabilitas yang baik pada pengujian ulang.   

Kesimpulan yang bisa diambil dari hasil penelitian adalah bahwa tes membaca dan menulis pada Ujian Nasional Bahasa Inggris 2015 untuk sekolah menengah kejuruan kekurangan dalam hal validitas isi dan validitas konstruk dengan bukti yang ditunjukkan yaitu ketidaksesuaian yang terjadi dalam proses pengembangan kisi-kisi soal menjadi butir-butir soal membaca dan menulis. Secara empiris bahwa hasil yang ditunjukkan yaitu 46% yang maan test tersebut dikategorikan maih termasuk tes yang baik. Walaupun, test tersebut masih lemah akan validitas konstruk karena hasil yang didapatkan tidak mencapai setengah dari test yang digunakan untuk mengukur kemampuan siswa dalam membaca dan menulis. Hasil dari reliabilitas theta menunjukkan hasil (.856) yang berarti bahwa tes tersebut memiliki reliabilitas yang baik melihat dari standar untuk memiliki reliabilitas yang baik adalah tidak dibawah skor .80.

 

Ujian Nasional dianggap sebagai test yang memiliki resiko tinggi yang berarti bahwa hasil dari tes tersebut seharusnya mencapai pada level yang baik sehingga bisa dikatakan bahwa tes tersebuat merupakan tes yang baik karena hal tersebut mempengaruhi banyak aspek dan pihak-pihak pendidikan terkait. Oleh sebab itu, tes tersebut sebaiknya perlu dilakukan peninjauan ulang untuk meningkatkan validitas dengan meningkatkan kualitas butir soal dan memastikan bahwa indikator terealisasikan dengan baik ke dalam butir-butir soal membaca dan menulis yang diteskan.