Investigating the Effect of Item Order on the Psychometric Properties of a Self-Efficacy Perception Scale / Madde Sıralamasının Bir Öz Yeterlik Algısı Ölçeğinin Psikometrik Özelliklerine Etkisinin İncelenmesi

Bu çalışmada bir öz yeterlik algısı ölçeği olan bilgi işlemsel düşünme becerisine yönelik öz yeterlik algısı ölçeği kullanılarak madde sıralama etkisi araştırılmıştır. Araştırmaya 8. sınıf öğrencilerinden oluşan 946 katılımcı katılmıştır. Katılımcılara öncelikle ölçeğin boyutlarının sıralı olduğu ve her maddenin ilgili alt boyutta sunulduğu orijinal form uygulanmıştır. Bir ay sonra aynı gruba madde sıralamasının tamamen rastgele olduğu ikinci bir form uygulanmıştır. Grubun bu iki forma ilişkin ölçeğin tamamı ve alt boyutlarından aldıkları ortalama puanları arasında anlamlı bir fark olmadığı bulunmuştur. Ayrıca, her bir katılımcının puanlarının iki form arasındaki değişimi incelenmiş ve bu farkın göz ardı edilebilir olduğu görülmüştür. Dikkat çeken bir diğer bulgu ise aynı boyutu temsil eden maddelerin birlikte sıralanmasının ölçeğin iç tutarlığına olumlu katkı sağlamasıdır. Her iki ölçek formu için de doğrulayıcı faktör analizleri yapılmış ve formlar birbirine yakın model uyum iyiliği göstermiştir. Bu durum madde sıralamasının rastgele yapılmasının ölçeğin yapısını bozmadığını göstermektedir. Son olarak ölçme değişmezliği incelenmiş ve iki form arasında katı düzeyde ölçme değişmezliği olduğu bulunmuştur. Gelecek çalışmalarda rastgele sıralanmış maddeler kullanmak yerine, madde sıralamasının belli bir bağlamsal amaca yönelik olarak manipüle edildiği formlar kullanılabilir. Ayrıca madde sıralama etkisinin farklı demografik özellikler ve farklı madde türü bağlamında incelenmesi de önerilmektedir.

In this study, the item order effect was investigated using the self-efficacy perception scale for computational thinking. 946 participants consisting of 8th-grade students participated in the research. Participants were first administered the original form of the scale, in which the dimensions were sequential and each item was presented in the relevant subdimension. One month later, a second form in which the order of the items was completely random was administered to the same group. Analyzes revealed no significant difference in the group's total mean score between the two forms. Additionally, the study showed the extent to each individual participant's total and factor scores varied between the two forms, and the difference was negligible. Another remarkable finding is that sequentially ordering items representing the same dimension contributes positively to the internal consistency reliability of the scale. Confirmatory factor analyses were performed for both forms, revealing good model fit with similar index values; This shows that randomizing the item order does not disrupt the structure of the scale. In addition, factor loading differences between the models were also examined. Finally, measurement invariance was examined and it was found that there was a solid level of measurement invariance between the two forms. In future studies, instead of creating random forms, forms in which the order of the items is consciously manipulated can be used and thus contextual effects can be examined. It is also suggested that the item order effect can be examined in the context of many demographic characteristics and different item types.