Comparison of Validity of Classification Made According to DINA Model with Criterion-Referenced and Normative Assessment/Bağıl ve Mutlak Değerlendirme ile DINA Modele Göre Yapılan Sınıflamaların Geçerliğinin Karşılaştırılması

The purpose of this research is to examine the validity of classifications by DINA Model as a Cognitive Diagnostic Model and by traditional methods. In order to make comparisons between DINA Model and criterion-referenced and normative models, a measurement tool that belongs to “measurement and assessment in education” class which is appropriate for DINA Model analyses is developed. Properties necessary for answering each item of measurement tool are determined by scholars and the Q matrix which shows item-property relation is prepared considering the compatibility of decisions made by various scholars. Above mentioned measurement tool is applied to 471 undergraduates from the Faculty Education and Arts and Sciences of Ege University. Raw scores of undergraduates are classified according to their success, that is whether they passed the class or failed, through criterion-referenced and normative assessment. And then this classification is compared with other classifications based on DINA Model. The comparison of assessment by normative assessment and classifications by DINA Model shows that the results are different for 50 undergraduates who failed and 28 who passed the class. As a consequence of the study, it is observed that the inconsistency between the normative assessment and DINA Model is 16.5% for the whole group. In assessments done by criterion-referenced, for the students who failed, two methods give the same results. However, for 87 students who are supposed to pass according to criterion-referenced assessment, DINA Model results show that these undergraduates are not qualified to give the right answers of the items. The incompatibility between assessments according to criterion-referenced and classifications according to DINA Model is calculated as 20%. 

Bu çalışmada, Bilişsel Tanı Modellerinden(BTM) biri olan DINA model ve geleneksel yöntemlerle yapılan sınıflamaların geçerliği incelenmiştir. DINA model, ikili yetenek modellerine benzeyen bir örtük sınıf modelidir. Araştırma, geliştirilen bir testin BTM’ye uygunluk düzeyini belirleme bakımından var olan bir durumu ortaya çıkartmak amacı taşımaktadır. Bu nedenle bu araştırma betimsel bir araştırma olarak değerlendirilebilir. Bunu yanında sınıflama geçerliğine ilişkin farklı teknikleri karşılaştırma olanağı da verdiğinden kuramsal bir araştırma olarak da ele alınabilir. İki yöntem arasında karşılaştırılmaların yapılabilmesi için DINA modelle analiz yapılmaya uygun “eğitimde ölçme ve değerlendirme” dersine ait bir ölçme aracı geliştirilmiştir. Ölçme aracındaki her bir maddeyi doğru cevaplamak için gerekli olan özellikler uzmanlar tarafından belirlenmiş ve madde özellik ilişkisini gösteren Q matrisi uzman uyumu gözetilerek hazırlanmıştır. Mutlak ölçüt kullanılarak yapılan değerlendirme ve DINA model sınıflandırmalarının karşılaştırması sonucunda, öğrenciler hakkında mutlak ölçütle belirlenen geçti kaldı kararlarıyla DINA modelle belirlenen öğrencilerin sahip olduğu özellik sayısı arasında %84.5 oranında bir uyum olduğu gözlenmiştir. Çalışma  sonuçları iki yöntemin uyumu kadar, hakkında geçti ya da kaldı kararı verilen öğrencilerin sahip oldukları özellik sayıları bakımından da değerlendirilmelidir. Bu noktada araştırmada dikkat çekilmek istenen önemli bir noktada belirlenen özelliklerden çoğuna sahip olmasına rağmen mutlak değerlendirme içinde hakkında kaldı kararı verilen öğrencilerdir.