Determining the role of artificial intelligence-supported applications in reliability of measurement activities: Awareness and precautions

Abstract

This study aims to explore the role of artificial intelligence (AI)-supported applications in enhancing the reliability of online or face-to-face measurement activities. Using a case study design, a qualitative research method, the study gathered the opinions of 48 educators from various disciplines in schools affiliated with the Ministry of National Education and Higher Education. Data were collected using a semi-structured interview form consisting of four open-ended questions. The data were analyzed with the content analysis method and the Cohen’s kappa reliability coefficient was determined as k = .78, p < .05. The results revealed that nearly half of the educators were aware of AI-supported applications (such as ChatGPT, Bing, Copilot, etc.) and that some students used these applications to answer questions or prepare homework during the measurement process. In this context, the study identified various precautions that can be implemented to increase the reliability of online or face-to-face measurement activities. These precautions included conducting exams in person whenever possible, using interpretative questions, limiting exam durations, and focusing on practical exams. Additionally, educators can take steps such as recording screens during exams, capturing live images with cameras, and monitoring opened tabs to reduce the impact of AI-supported tools. The current study further discusses the influence of these measurement methods and precautions on increasing the reliability of measurement results.

Bu çalışmanın amacı, çevrimiçi veya yüz yüze yapılan ölçme faaliyetlerinin güvenirliğine yönelik yapay zeka (YZ) destekli uygulamaların rolünün belirlenmesidir. Nitel araştırma yöntemleri arasında yer alan durum çalışması deseni kullanılan çalışma kapsamında, Yükseköğretim’e ve Milli Eğitim Bakanlığı’na bağlı okullarda farklı branşlarda görev yapan 48 eğitimcinin görüşleri alınmıştır. Veri toplama aracı olarak açık uçlu dört sorudan oluşan yarı yapılandırılmış görüşme formu kullanılmıştır. Veriler içerik analizi yöntemiyle analiz edilmiş ve Cohen’s kappa güvenirlik katsayısı k = .78, p < .05 olarak belirlenmiştir. Çalışma sonuçlarına göre, eğitimcilerin neredeyse yarısının YZ destekli uygulamaların (ChatGPT, Bing, Copilot vb.) farkında olduğu ve ölçme sürecinde bazı öğrencilerin soruları cevaplamak veya ödevleri hazırlamak amacıyla bu uygulamalardan yararlandığı ortaya konulmuştur. Bu kapsamda çevrimiçi veya yüze yüze yapılan ölçme faaliyetlerinin güvenirliğini artırmaya yönelik eğitimciye ve yazılıma bağlı olarak alınabilecek önlemler belirtilmiştir. Sınavların olabildiğince yüz yüze gerçekleştirilmesi, yoruma dayalı soruların kullanılması, sınav süresinin kısıtlanması ve uygulamaya dayalı sınavların yapılması eğitimcinin alabileceği önlemler arasındadır. Sınav esnasında ekran kaydının tutulması, kamera ile canlı görüntünün alınması ve açılan sekmelerin kontrol edilmesi yazılıma bağlı olarak alınabilecek önlemler arasındadır. Eğitimcilerin benimsedikleri ölçme yöntemlerinin ve belirttikleri önlemlerin ölçme sonuçlarının güvenirliğini artırmaya yönelik etkileri tartışılmıştır.