The Effect of Incorrect Questions in Multiple Choice Mathematics Exams on the Psychometric Properties of the Test / Çoktan Seçmeli Matematik Sınavlarındaki Hatalı Soruların Testin Psikometrik Özelliklerine Etkisi

The aim of this study is to determine and evaluate the effect of incorrect questions in multiple choice mathematics exams on the psychometric properties of the test in line with the opinions of the participants. In this study, convergent parallel mixed design was preferred since qualitative research data and quantitative data were collected together. In the quantitative dimension of research, an achievement test was applied to 100 eighth grade secondary school students attending three different public schools in the Southeastern Anatolia Region. The qualitative study part was conducted with 10 students with different success levels. Stratified sampling was used to collect quantitative data, and criterion sampling method was used to collect qualitative data. In the quantitative part of the study, the multiple choice mathematics achievement test prepared by the researchers was used. The achievement test consisted of a total of 30 questions, 10 at the easy level, 10 at the medium level, and 10 at the hard level, which were obtained in line with the opinions of experts working in the relevant field. After the achievement test application was completed, a semi-structured interview form developed by researchers was applied to participants. This form was used to determine the feelings and thoughts of the participants regarding the questions applied. Test Analysis Program (TAP) was used for the analysis of quantitative data. Content analysis was performed by creating codes, categories and themes for qualitative data analysis. When the findings were examined, it was seen that the presence of erroneous questions in multiple-choice tests positively affects item discrimination. Another finding obtained in the study is that the difficulty levels regarding the incorrect items were low. However, the participants stated that the incorrect questions among the questions made them think more and look at all the questions from different aspects with a questioning attitude.

Bu araştırmanın amacı çoktan seçmeli matematik sınavlarındaki hatalı soruların o testin psikometrik özelliklerine etkisini belirleyip katılımcıların görüşleri doğrultusunda değerlendirmektir. Bu araştırma kapsamında nitel araştırma verileri ile nicel veriler birlikte toplandığından yakınsayan paralel karma desen tercih edilmiştir. Yapılan araştırmanın nicel boyutunda Güneydoğu Anadolu Bölgesinde üç farklı devlet okuluna devam eden 100 sekizinci sınıf öğrencisine başarı testi uygulanmıştır. Araştırmanın nitel kısmı ise akademik başarı düzeyi farklı 10 öğrenciyle yürütülmüştür. Nicel verilerin toplanmasında tabakalı örnekleme, nitel verilerin toplanması için ise ölçüt örnekleme yöntemi kullanılmıştır. Yapılan araştırmanın nicel kısmında, araştırmacılar tarafından hazırlanan çoktan seçmeli matematik başarı testi kullanılmıştır. Başarı testi ilgili alanda çalışan uzman görüşleri doğrultusunda elde edilen kolay düzeyde 10, orta düzeyde 10 ve zor düzeyde 10 soru olmak üzere toplam 30 sorudan oluşmuştur. Araştırmanın nitel kısmında, başarı testi uygulandığı sırada araştırmacılar tarafından gözlemlenen katılımcıların tepki ve davranışlarının yazıldığı gözlem formu kullanılmıştır. Başarı testi uygulaması bittikten sonra araştırmacılar tarafından geliştirilen yarı yapılandırılmış görüşme formu katılımcıların uygulanan sorulara yönelik duygu ve düşüncelerini belirlemek için uygulanmıştır. Nicel verilerin analizi için Test Analiz Programı (TAP) kullanılmıştır. Nitel veri analizi için kod, kategori ve temalar oluşturularak içerik analizi yapılmıştır. Elde edilen bulgular incelendiğinde çoktan seçmeli testlerde hatalı soruların bulunmasının madde ayırt ediciliğini olumlu yönde etkilediği görülmüştür. Araştırmada elde edilen bir diğer bulgu ise hatalı olan maddelere ilişkin güçlük düzeylerinin düşük çıkmasıdır. Bununla birlikte katılımcılar, sorular arasında hatalı soruların olmasının kendilerini daha fazla düşünmeye, bütün sorulara sorgulayıcı tavırla ve farklı yönleriyle bakmaya ittiğini belirtmişlerdir.