Face Validity Study of a Small-Scale Test in a Tertiary-Level Intensive EFL Program

Abstract

The assessment of language abilities play a crucial role in designing tests. In order to create a positive and motivating learning environment for test takers, one of the most important factors is the administration of tests with high levels of face validity as well as test taker cognizance of the abilities necessary for exam success. Therefore, this study examined the overlap in test takers' and language instructors' perceptions of the abilities being tested as well as test developers' intentions in preparing exam items. The study was conducted at Gaziantep University Higher School of Foreign Languages with 38 test takers, seven language instructors, and four test designers. Data was collected by means of a response sheet on test takers' perceptions of tests after being modified in accordance with the test to be analysed. The results revealed a moderate level of agreement between test designers and language instructors while a lower agreement percentage was obtained with test takers.Dil becerilerinin ölçülmesi ve değerlendirilmesi eğitim öğretim çalışmaları kapsamında önemli bir alandır ve eğitim öğretim süreçlerini de şekillendiren önemli sonuçlara sahiptir. Sınava girecek öğrenciler için olumlu ve motive edici bir öğrenme ve sınav ortamı oluşturmak hem sınav görünüş geçerliği kavramının temeli hem de sınavı hazırlayanların amaçlarından bir tanesidir. Bu amaçla, bu çalışmada sınava giren öğrencilerin, sınavı hazırlayan ve derse giren öğretim elemanlarının sınavdaki maddelerin hazırlanma amaçları ile ilgili görüşleri araştırılmıştır. Bu çalışmada Gaziantep Üniversitesi Yabancı Diller Yüksekokulu İngilizce hazırlık sınıfında öğrenim gören 38 öğrenci, aynı birimden yedi öğretim elemanı ve dört sınav hazırlama komisyonu üyesi yer almıştır. Cevap kodlama formu ve bire bir görüşme yöntemleri kullanılarak nicel ve nitel veri toplanmıştır. Araştırma sonuçlarına göre sınav hazırlayanlar ile derse giren öğretim elemanlarının sınav sorularının amaçlarını eşleştirmede orta düzeyde bir uyuma sahip olduğu, öğrencilerde ise düşük seviyeli bir uyum olduğu belirlenmiştir.