Comparison Of The Reliability Co-Efficients Obtained According To Classical Test Theory And Factor Analytic Approach
Abstract
The purpose of this study is the examination of the omega reliability coefficients used in KR-20 and factor analytic approach under the factors affecting reliability such as test length, sample size and factor loadings variance in parallel and tau-equivalent measurement structures.Data has been generated according to various factors (sample size, test length and factor loadings levels). 100 replications have been performed for each state in the generated data. The data have been generated seperately in parallel and tau-equivalent measurement structures in compliance with each state consisted as a result of crossing the designated conditions. The data production has been carried out by using the codes written by the researcher and the psych package in R 3.0 program. The average and standart deviation values of KR-20 and omega coefficients have been calculated according to different alternation criterias for parallel and tau-equivalent measurement structures.No significant effect of sample size by itself on coefficient average and standart deviation in parallel and tau-equivalent measurement structures has been seen. However, it has been observed that the material number and factor loading levels have caused significant changes on the coefficient average and standart deviation. The omega and KR-20 coefficient averages obtained in different material numbers, different sample sizes and different factor loadings in parallel measurement structure has been, contrary to expectations, lower compared to the ones obtained in tau-equivalent and congeneric measurement structures.
Keywords
Parallel Measurement Structure Tau-Equivalent Measurement Structure Omega Coefficient Reliability.
References
- Allen, M. J., & Yen, W. M. (1979). Introduction to measurement theory. Brooks/Cole Publishing Company.
- Alwin, D. F. (1976). Attitude scales as congeneric tests: A re-examination of an attitude-behavior model. Sociometry, 39, 377-383.
- Atılgan, H., Kan A., ve Doğan N. (2009). Eğitimde ölçme ve değerlendirme, Anı Yayıncılık,
- Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: Klasik Test Teorisi ve uygulaması. ÖSYM Yayınları.
- Crocker, L., & Algina, J. (2008). Introduction to classical and modern test theory. Cengage Learning.
- Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika,16, 297-334.
- Graham, J. M. (2006). Congeneric and (essentially) tau-equivalent estimates of score reliability: What they are and how to use them. Educational and psychological measurement, 66(6), 930-944.
- Gulliksen, H. (1950). Theory of mental tests. John Wiley & Sons, Inc. Lord, F. M., & Novick, M. R. (1968). Statistical theories of mental test scores. Addison-Wesley Publishing Company.
- McDonald, R. P. (1985). Factor analysis and related methods. Erlbaum.
- McDonald, R. P. (1999). Test theory: a unified treatment. Erlbaum.
- Magnusson,D.(1968). Test Theory. Addisson-Wesley Publishing Company
- Novick, M. R., & Lewis, C. (1967). Coefficient alpha and the reliability of composite measurements. Psychometrika, 32(1), 1-13.
- Raykov, T. (1997). Estimation of composite reliability for congeneric measures. Applied Psychological Measurement, 21(2), 173-184.
- Raykov, T. (2001). Bias of coefficient alfa for fixed congeneric measures with correlated errors. Applied Psychological Measurement, 25(1), 69– 76
- Raykov,T. (1997). Scale Reliability, Cronbach's Coefficient Alpha, and Violations of Essential Tau-Equivalence with Fixed Congeneric Components. Multivariate Behavioral Research, 32(4), 329-353
- Sijtsma, K. (2009). On the use, the misuse, and the very limited usefulness of Cronbach’s alpha. Psychometrika, 74(1), 107-120.
- Sünbül, Ö. ve Erkuş, A. (2013). Madde parametrelerininin değişmezliğinin çeşitli boyutluluk özelliği gösteren yapılarda madde tepki kuramınana göre incelenmesi. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 9(2).
- Turgut, M. F. ve Baykul, Y. (1992). Ölçekleme teknikleri. ÖSYM yayınları.
- Turgut, M. F. (1980). Eğitimde Ölçme ve Değerlendirme. Gül Yayınevi
- Yurdugül, H. (2005). Konjenerik test kuramı ve konjenerik madde analizi: Tek boyutlu çoktan seçmeli testler üzerine bir uygulama. A.Ü. Egitim Bilimleri Fakültesi Dergisi, 38(2).
- Yurdugül, H. (2006). Çoktan seçmeli testlerde klasik güvenirlik terimlerinin madde-yanıt kuramından elde edilmesi. A. Ü. Eğitim Bilimleri Fakültesi Dergisi, 39(2), 27-44.Yurdugül, H. (2006). Paralel, eşdeğer ve konjenerik ölçmelerde güvenirlik katsayılarının karşılaştırılması. A.Ü. Eğitim Bilimleri Fakültesi Dergisi, 39(1), 15-37.
Klasik Test Kuramına Ve Faktör Analitik Yaklaşıma Göre Elde Edilen Farklı Güvenirlik Katsayılarının Karşılaştırılması
Abstract
Bu çalışmada paralel ve eş biçimli ölçme yapılarında güvenirliği etkileyen faktörlerden, test uzunluğu, örneklem büyüklüğü ve faktör yükü dağılımları etkisi altında KR-20 ile faktör analitik yaklaşımda kullanılan omega katsayısının incelenmesi amaçlanmıştır. Çeşitli faktörlere (örneklem büyüklüğü, test uzunluğu ve faktör yük düzeyleri) göre veri üretilip, üretilen verilerde her bir durum için 100 yineleme (replikasyon) yapılmıştır. Veriler, paralel ve eşbiçimli ölçme yapılarında ayrı ayrı olarak, belirtilen koşulların çaprazlanması sonucu oluşan her bir duruma uygun olarak üretilmiştir. Veri üretimi R 3.0 programında psych paketi ve araştırmacı tarafından yazılan kodlar kullanılarak gerçekleştirilmiştir. Paralel ve eşbiçimliölçme yapıları için farklı değişimleme ölçütlerine göre KR-20 ve Omega katsayılarının ortalama ve standart sapma değerleri hesaplanmıştır. Farklı ölçme yapılarında tek başına örneklem büyüklüğünün, katsayı ortalamaları ve standart sapmaları üzerinde anlamlı bir etkisi görülmemiştir. Ancak madde sayısı ve faktör yükü düzeylerinin katsayı ortalamaları ve standart sapmaları üzerinde anlamlı değişikliklere neden olduğu gözlenmiştir. Paralel ölçme yapısında farklı madde sayılarında, örneklem büyüklüklerinde ve farklı faktör yüklerinde elde edilen Omega ve KR-20 katsayı ortalamaları, eşbiçimli ve konjenerik ölçme yapılarında elde edilen katsayı ortalamalarına göre, beklenenin aksine, daha düşük çıkmıştır.
References
- Allen, M. J., & Yen, W. M. (1979). Introduction to measurement theory. Brooks/Cole Publishing Company.
- Alwin, D. F. (1976). Attitude scales as congeneric tests: A re-examination of an attitude-behavior model. Sociometry, 39, 377-383.
- Atılgan, H., Kan A., ve Doğan N. (2009). Eğitimde ölçme ve değerlendirme, Anı Yayıncılık,
- Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: Klasik Test Teorisi ve uygulaması. ÖSYM Yayınları.
- Crocker, L., & Algina, J. (2008). Introduction to classical and modern test theory. Cengage Learning.
- Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika,16, 297-334.
- Graham, J. M. (2006). Congeneric and (essentially) tau-equivalent estimates of score reliability: What they are and how to use them. Educational and psychological measurement, 66(6), 930-944.
- Gulliksen, H. (1950). Theory of mental tests. John Wiley & Sons, Inc. Lord, F. M., & Novick, M. R. (1968). Statistical theories of mental test scores. Addison-Wesley Publishing Company.
- McDonald, R. P. (1985). Factor analysis and related methods. Erlbaum.
- McDonald, R. P. (1999). Test theory: a unified treatment. Erlbaum.
- Magnusson,D.(1968). Test Theory. Addisson-Wesley Publishing Company
- Novick, M. R., & Lewis, C. (1967). Coefficient alpha and the reliability of composite measurements. Psychometrika, 32(1), 1-13.
- Raykov, T. (1997). Estimation of composite reliability for congeneric measures. Applied Psychological Measurement, 21(2), 173-184.
- Raykov, T. (2001). Bias of coefficient alfa for fixed congeneric measures with correlated errors. Applied Psychological Measurement, 25(1), 69– 76
- Raykov,T. (1997). Scale Reliability, Cronbach's Coefficient Alpha, and Violations of Essential Tau-Equivalence with Fixed Congeneric Components. Multivariate Behavioral Research, 32(4), 329-353
- Sijtsma, K. (2009). On the use, the misuse, and the very limited usefulness of Cronbach’s alpha. Psychometrika, 74(1), 107-120.
- Sünbül, Ö. ve Erkuş, A. (2013). Madde parametrelerininin değişmezliğinin çeşitli boyutluluk özelliği gösteren yapılarda madde tepki kuramınana göre incelenmesi. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 9(2).
- Turgut, M. F. ve Baykul, Y. (1992). Ölçekleme teknikleri. ÖSYM yayınları.
- Turgut, M. F. (1980). Eğitimde Ölçme ve Değerlendirme. Gül Yayınevi
- Yurdugül, H. (2005). Konjenerik test kuramı ve konjenerik madde analizi: Tek boyutlu çoktan seçmeli testler üzerine bir uygulama. A.Ü. Egitim Bilimleri Fakültesi Dergisi, 38(2).
- Yurdugül, H. (2006). Çoktan seçmeli testlerde klasik güvenirlik terimlerinin madde-yanıt kuramından elde edilmesi. A. Ü. Eğitim Bilimleri Fakültesi Dergisi, 39(2), 27-44.Yurdugül, H. (2006). Paralel, eşdeğer ve konjenerik ölçmelerde güvenirlik katsayılarının karşılaştırılması. A.Ü. Eğitim Bilimleri Fakültesi Dergisi, 39(1), 15-37.
Details
| Primary Language | Turkish |
|---|---|
| Subjects | Measurement Theories and Applications in Education and Psychology |
| Journal Section | Makaleler |
| Authors | |
| Publication Date | April 19, 2024 |
| Submission Date | December 6, 2023 |
| Acceptance Date | March 22, 2024 |
| Published in Issue | Year 2024 Volume: 20 Issue: 1 |
The content of the Mersin University Journal of the Faculty of Education is licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.