Farklı duygusal tasarımlara sahip pedagojik ajanlarla birlikte sunulan geri bildirimlerin öğrenenlerin bilişsel ve duyuşsal durumları üzerindeki etkilerinin incelenmesi

Abstract

Bu araştırmanın amacı, gömülü sorular içeren çoklu ortam materyallerinde duygusal yüz ifadelerine sahip pedagojik ajanlar aracılığıyla sunulan açıklayıcı geri bildirimlerin, öğrenenlerin bilişsel ve duyuşsal süreçlerine etkilerini çok boyutlu olarak incelemektir. Araştırma kapsamında, duygusal yüz ifadeleri taşıyan pedagojik ajanların sunduğu geri bildirimlerin akademik başarı, içsel motivasyon, bilişsel yük, duygusal durum, yüz ifadeleri ve göz hareketleri üzerindeki etkileri deneysel yöntemle değerlendirilmiştir. Bu amaçla, ön test– son test kontrol gruplu deneysel desen kullanılarak iki farklı uygulama gerçekleştirilmiştir. Uygulama 1’de yazılım mühendisliği bölümünden 84 öğrenciye (Kontrol=28, Deney1=28, Deney2=28), “IP ve IP Sınıfları” konulu 8 gömülü sorudan oluşan materyal sunulmuştur. Uygulama 2’de ise sağlık yönetimi bölümünden 78 öğrenciye (Kontrol=26, Deney1=26, Deney2=26), “Sıtmanın Yaşam Döngüsü” konulu 4 gömülü soru içeren materyal kullanılmıştır. Her iki uygulamada da açıklayıcı geri bildirimler üç farklı koşulda verilmiştir: kontrol gruplarında yalnızca ses ve metinle, deney 1 gruplarında nötr yüz ifadesine sahip ajanla, deney 2 gruplarında ise neşeli yüz ifadesine sahip ajanla sunulmuştur. Bulgular, her iki uygulama da neşeli yüz ifadesine sahip ajanlarla sunulan geri bildirimlerin, akademik başarıyı anlamlı düzeyde artırdığını ve bilişsel yükü azalttığını göstermektedir. İçsel motivasyon ve pozitif duygular açısından anlamlı bir fark bulunmamıştır. Uygulama 2’deki grupların negatif duygu puanlarında anlamlı bir farklılık gözlenmezken, uygulama 1’de nötr yüz ifadesine sahip ajanla etkileşim kuran deney 1 grubundaki öğrencilerde negatif duygu puanlarının arttığı gözlenmiştir. Bu durumun, söz konusu grubun gömülü sorularda daha fazla hata yapmasıyla ilişkilendirilmiştir. Yüz ifadeleri analizinde ise çoklu ortam videolarını izleme, soruları çözme ve geri bildirimleri alma süreçlerinde her iki uygulamadaki deney 1 ve deney 2 gruplarında kontrol grubuna göre daha fazla negatif değerlik tespit edilmiştir, bu durumun dikkat ve bilişsel uyarılmayı artırarak öğrenmeye olumlu katkı sunduğu değerlendirilmiştir. Göz hareketleri verilerinde uygulama 2’de anlamlı sonuçlar gözlenmezken, uygulama 1’deki deney 2 grubunda neşeli ajanla etkileşimde bulunan öğrencilerin geri bildirimleri alma sürecinde cevapların olduğu bölgeye fazla odaklandığını göstermiştir. Sonuçlar, duygusal ajanların öğrenme süreçlerinde etkili sosyal araçlar olabileceğini ortaya koymaktadır.This study investigates the multidimensional effects of explanatory feedback delivered by pedagogical agents with emotional facial expressions in multimedia materials containing embedded questions on learners’ cognitive and affective processes. The research evaluates, through an experimental method, the impact of feedback provided by pedagogical agents displaying emotional expressions on academic achievement, intrinsic motivation, cognitive load, emotional state, facial expressions, and eye movements. To this end, a pre-test–post-test control group experimental design was employed in two separate implementations. In the first implementation, 84 students from the software engineering department were presented with a learning material consisting of 8 embedded questions on the topic of “IP and IP Classes”. In the second implementation, 78 students from the healthcare management department engaged with a material containing 4 embedded questions on the topic of “The Life Cycle of Malaria”. In both implementations, explanatory feedback was delivered under three different conditions: in the control groups, feedback was presented using only voice and text; in experimental group 1, feedback was delivered via an agent with a neutral facial expression; and in experimental group 2, via an agent with a joyful facial expression. Findings from both implementations indicate that feedback provided by agents with joyful expressions significantly enhanced academic achievement and reduced cognitive load. No significant difference was found regarding intrinsic motivation or positive emotions. While no notable difference in negative emotion scores was observed in the groups from implementation 2, students in experimental group 1 of implementation 1—who interacted with the agent displaying a neutral expression—exhibited increased negative emotion scores. This was associated with a higher error rate in answering embedded questions within that group. Facial expression analysis revealed higher levels of negatively valenced expressions in both experimental groups compared to the control group during video watching, question solving, and feedback reception phases. However, this was interpreted as contributing positively to learning by enhancing attention and cognitive arousal. Eye-tracking data showed no significant results in implementation 2; however, in implementation 1, students in experimental group 2 (interacting with the joyful agent) displayed greater visual focus on the answer region during the feedback phase. The results suggest that emotional pedagogical agents can serve as effective social tools in the learning process.