Improving young adult EFL students’ speaking skills through an artificial intelligence chatbot: A quasi-experimental study

Abstract

This study examined how employing a generative artificial intelligence (GenAI) chatbot could support and improve the speaking skills of young Turkish adult learners of English as a foreign language. Both quantitative and qualitative data were collected using an explanatory sequential quasi-experimental design. The quantitative phase involved pre- and post-tests with a control group, while the qualitative phase utilized reflective diaries, recordings of interactions with the chatbot, and semi-structured interviews. Participants included 20 Turkish learners of English, aged between 15 and 24, who were equally divided into experimental and control groups based on their proficiency levels. Over eight weeks, the experimental group interacted weekly with the GenAI chatbot outside the classroom as an extracurricular activity, whereas the control group received traditional instruction without any chatbot interaction. Quantitative findings revealed significant improvements in speaking skills within both groups based on pre- and post-test comparisons. However, no statistically significant difference was found between the post-test scores of the experimental and control groups. This suggests that the AI-supported intervention did not result in a measurable advantage over traditional instruction within the study period. Qualitative findings indicated that learners experienced a range of technical, pedagogical, and social benefits and challenges, along with suggestions for improving the use of GenAI chatbots. Reports of increased language proficiency and knowledge also emerged. This study aims to contribute to the growing body of literature on GenAI in language learning and has implications for educators, chatbot developers, and future researchers.Bu çalışma, yapay zekâ destekli bir sohbet botunun, İngilizceyi yabancı dil olarak öğrenen Türk genç yetişkinlerin konuşma becerilerini nasıl destekleyip geliştirebileceğini incelemiştir. Bu amaç doğrultusunda, açımlayıcı sıralı yarı deneysel desen kullanılarak nicel ve nitel veriler toplanmıştır. Nicel veri toplama süreci, ön test–son test uygulamaları ve kontrol grubunu içeren bir yarı deneysel desen çerçevesinde yürütülmüştür. Nitel veriler ise yansıtıcı günlükler, sohbet botuyla yapılan etkileşim kayıtları ve yarı yapılandırılmış görüşmeler aracılığıyla elde edilmiştir. Katılımcılar, yaşları 15 ile 24 arasında değişen ve dil yeterlilik düzeylerine göre eşit şekilde deney ve kontrol gruplarına ayrılan 20 Türk İngilizce öğrenicisinden oluşmuştur. Sekiz hafta boyunca deney grubundaki katılımcılar, ders dışı etkinlik kapsamında haftalık olarak yapay zekâ sohbet botuyla etkileşime girmiştir. Buna karşılık, kontrol grubuna yalnızca geleneksel yöntemlerle eğitim verilmiş ve herhangi bir sohbet botu etkileşimi sunulmamıştır. Nicel bulgular, her iki grup için ön test ve son test karşılaştırmalarına göre konuşma becerilerinde anlamlı bir gelişme olduğunu göstermiştir. Ancak, deney ve kontrol gruplarının son test puanları arasında istatistiksel olarak anlamlı bir fark bulunmamıştır. Bu durum, çalışma süresi boyunca yapay zekâ destekli uygulamanın, geleneksel öğretime kıyasla ölçülebilir bir avantaj sağlamadığını düşündürmektedir. Nitel bulgular ise, öğrencilerin üretken yapay zekâ sohbet botlarıyla ilgili teknik, pedagojik ve sosyal alanlarda çeşitli güçlü yönler, sınırlılıklar ve geliştirme önerileri deneyimlediklerini ortaya koymuştur. Ayrıca, dil yeterliği ve bilgi düzeyinde artışa dair öğrenci ifadelerine de bulgular arasında yer verilmiştir. Bu çalışmanın, elde ettiği sonuçlarla yapay zekâ temelli literatüre katkı sağlaması ve öğretmenler, sohbet botu geliştiricileri ile gelecekteki araştırmacılar için çeşitli çıkarımlar sunması amaçlanmaktadır.