Artificial intelligence-based language modelling: The effect of ChatGPT application on writing skills in the context of teaching English as a foreign language

Abstract

Dil öğreniminde yapay zekanın (YZ) kullanımı hızla artmakta, ChatGPT gibi gelişmiş sistemler öğrencilere dil becerilerini geliştirmek için etkileşimli ortamlar sağlamaktadır. Bu çalışma, yapay zeka tabanlı bir dil modeli olan ChatGPT'nin İngilizce yazma becerileri üzerindeki etkisini, tutarlılık, uyum, kelime bilgisi ve dilbilgisi kullanımına odaklanarak araştırmaktadır. Bu çalışma yarı deneysel bir çalışma olarak tasarlanmıştır. Veriler, kolayda örnekleme yoluyla seçilen 101 katılımcıdan ön test, son test ve altı açık uçlu soru kullanılarak toplanmıştır. Çalışmanın katılımcıları Türkiye'de bir güzel sanatlar lisesinde okuyan 14-17 yaş arası lise öğrencileridir. Müdahaleden önce katılımcılara bir ön test uygulanmıştır. ChatGPT tarafından sağlanan geribildirimlerle 8 haftalık yoğun yazma uygulamasının ardından, çalışma son test ile tamamlanmıştır. Ayrıca, katılımcıların demografik bilgileri ile ChatGPT ve yazma uygulaması hakkındaki düşünceleri altı açık uçlu soru ile toplanmıştır. ChatGPT'nin yazma becerilerini geliştirmek için yararlı olduğu görülmüştür. Bulgular, ChatGPT gibi yapay zeka araçlarının yazma becerilerini geliştirme potansiyelini vurgulamaktadır. Dilbilgisi, tutarlılık ve uyum ve kelime bilgisi üzerinde orta ila güçlü etki büyüklüklerine sahip önemli gelişmeler bulunmuştur; bu da aracın öğrencileri yazma becerilerini geliştirmede etkili bir şekilde desteklediğini göstermektedir. Ayrıca, son test puanları ön test puanlarından önemli ölçüde yüksektir ve bu da müdahalenin öğrencilerin yazma yeterlilikleri üzerinde olumlu bir etkisi olduğunu göstermektedir. Ancak çalışma, bu tür teknolojilerin temel öğrenme süreçlerinin yerini almak yerine onlara yardımcı olmasını sağlamak için eğitim süreçlerine dikkatli bir şekilde entegre edilmesi gerektiğinin altını çizmektedir. Bu çalışmanın sonuçları, yapay zeka tabanlı dil modellerinin dil öğrenme ve öğretme süreçleri üzerindeki etkisini daha iyi anlamamıza ve dil öğretiminde daha etkili stratejiler geliştirmemize yardımcı olabilir. Ayrıca İngilizce öğretimi alanındaki uygulayıcılar ve araştırmacılar için önemli bir kaynak olması umulmaktadır.

The use of artificial intelligence (AI) in language learning is rapidly growing, with advanced systems like ChatGPT providing learners with interactive environments to enhance their language skills. This study investigates the impact of ChatGPT, an AI-based language model, on English writing skills, focusing on coherence, cohesion, vocabulary, and grammar usage. This study was designed as a quasi-experimental study. Data were collected from 101 participants selected through convenience sampling using pre-test, post-test, and 6 openended questions. The participants of the study were high school students between the ages of 14-17 in a fine arts high school in Turkey. Before the intervention, a pre-test was administered to the participants. After 8 weeks of intensive writing practice with feedback provided by ChatGPT, the study was concluded with a post-test. In addition, demographic information of the participants and their thoughts about ChatGPT and the writing practice were collected with 6 open-ended questions. ChatGPT was found to be useful for improving writing skills. The findings highlight the potential for AI tools such as ChatGPT to improve writing skills. Significant improvements were found in grammar, coherence and cohesion, and vocabulary, with moderate to strong effect sizes, suggesting that the tool effectively supported students in improving writing skills. Additionally, the overall posttest scores were significantly higher than the pretest scores, indicating a positive impact of the intervention on students' writing proficiency. However, the study underlines the need for careful integration of such technologies in educational contexts to ensure that they assist, rather than replace, fundamental learning processes. The results of this study can help us to better understand the impact of AI-based language models on language learning and teaching processes and to develop more effective strategies in language teaching. It is also hoped to be an important resource for practitioners and researchers in the field of English language teaching.