Yabancı dil olarak Türkçe öğrenicilerinin yazılı metinleri ile ChatGPT tarafından yazılan metinlerin niteliklerinin karşılaştırılması

Abstract

ChatGPT, kullanıcının yazılı veya sözlü cümleleri ve sözcükleri gibi girdilerini alıp bunları yapılandırılmış dil komutlarına dönüştürerek çalışır. Bu komutlar daha sonra, dilin gramerini ve yapısını tanımanın yanı sıra bağlamsal olarak uygun bir şekilde anlayıp yanıt verebilen bir yapay zekâ öğrenimi algoritması aracılığıyla gönderilir. Araştırmalar yabancı dil öğretiminde, konuşma ve yazma becerisinin geliştirilmesinde ChatGPT'den yararlanmanın birçok olumlu özelliğine vurgu yapmaktadır. Bununla birlikte kullanıcıların etik bir anlayışla kullanması, elde edilen bilgilere eleştirel yaklaşması gerektiği de dikkate sunulmaktadır. Yapay zekâdan dil öğretim ortamında nasıl yararlanılabileceği, güvenilir bilgiler sunup sunmadığı konularının araştırılması gerekmektedir. Bu araştırmanın amacı yabancılara Türkçe öğretiminde yazma becerisini geliştirmede ChatGPT'den yararlanıp yararlanılamayacağını belirlemek ve yabancı dil olarak Türkçe öğrenen bireylerin yazılı anlatım becerileriyle ChatGPT tarafından oluşturulan metinlerin karmaşıklık, doğruluk, akıcılık ve işlevsel yeterlik açısından karşılaştırılmasını sağlamaktır. Çalışma nitel araştırma yöntemlerinden doküman incelemesi yöntemi ile yürütülmüştür. Araştırma kapsamında A2 ve B2 düzeyinde Türkçe öğrenen 43 öğrenicinin, ders kitabındaki yönergelere göre üç farklı konuda yazdıkları metinler incelenmiştir. Ardından aynı yönergelerle aynı konularda birer metin ChatGPT kullanılarak araştırmacı tarafından oluşturulmuştur. Ortaya çıkan metinler karmaşıklık, doğruluk, akıcılık ölçütleri ve işlevsel yeterlilik dereceli puan anahtarı kullanılarak analiz edilmiştir. Bulgulara göre; karmaşıklık bakımından ChatGPT metinleri genel olarak daha yüksek karmaşık cümle oranlarına sahiptir ancak bu oran düzeylere göre tutarlılık göstermemektedir. Doğruluk açısından ChatGPT, hem cümle hem de sözcük düzeyinde öğrenici metinlerine kıyasla oldukça yüksek doğruluk oranlarına sahiptir. Akıcılık boyutunda farklı sözcük kullanımı açısından ChatGPT'nin ortalamaları daha yüksek bulunmuş, ancak anlamlı sözcük oranı bakımından öğrenici metinleri bazı konularda daha yüksek değerlere ulaşmıştır. İşlevsel yeterlik açısından ise ChatGPT metinleri, özellikle görev gereksinimleri ve tutarlılık ölçütlerinde öğrenici metinlerinden daha yüksek puanlar almıştır. Ancak A2 düzeyindeki bazı öğrenici metinlerinin B2 düzeyindekilere göre daha nitelikli olduğu da dikkat çekmiştir. Bu sonuçlar, yabancılara Türkçe öğretiminde yazma becerisini geliştirme sürecinde ChatGPT'nin dil bilgisi açısından cümle ve sözcük düzeyinde doğruluğu geliştirmede ve metnin işlevsel yeterliğinin sağlanmasında destek sağlayabileceğini göstermektedir. İşlevsel yeterlik metnin anlamı açısından yeterli ve konuyla ilgili bir içerik sunmasını, görev gereksinimlerini karşılamasını, amacı ve fikirleri açıkça anlaşılan bir metin yazmayı, metni geçiş ve bağlantı ifadeleriyle tutarlı bir bütün haline getirmeyi kapsamaktadır. Yabancı dil olarak Türkçe öğrenenlerin dil bilgisi açısından doğru, anlam açısından türe uygun bir içerik düzenlemelerini desteklemek için ChatGPT'den metni planlama veya yazılan metni gözden geçirme aşamalarında yararlanılması önerilmektedir.Today, artificial intelligence-powered language models are increasingly being used in language teaching processes. ChatGPT works by taking user inputs such as written or spoken sentences and words and converting them into structured language commands. These commands are then sent through an artificial intelligence learning algorithm that can recognize the grammar and structure of the language, as well as understand and respond appropriately in context. Research highlights many positive features of using ChatGPT in foreign language teaching and in developing speaking and writing skills. However, it is also noted that users should use it with an ethical understanding and approach the information obtained critically. It is necessary to investigate how artificial intelligence can be used in language teaching environments and whether it provides reliable information. The purpose of this study is to determine whether ChatGPT can be used to improve writing skills in teaching Turkish to foreigners and to compare the written expression skills of individuals learning Turkish as a foreign language with the texts generated by ChatGPT in terms of complexity, accuracy, fluency, and functional adequacy. The study was conducted using the document review method, one of the qualitative research methods. Within the scope of the research, the texts written by 43 students learning Turkish at the A2 and B2 levels on three different topics according to the instructions in the textbook were examined. Then, one text on the same topics was created by the researcher using ChatGPT with the same instructions. The resulting texts were analyzed using complexity, accuracy, fluency criteria, and a functional proficiency rating scale. According to the findings, ChatGPT texts generally have higher rates of complex sentences in terms of complexity, but this rate is not consistent across levels. In terms of accuracy, ChatGPT has significantly higher accuracy rates than student texts at both the sentence and word levels. In terms of fluency, ChatGPT's averages were found to be higher in terms of different word usage, but student texts achieved higher values in some areas in terms of meaningful word ratio. In terms of functional adequacy, ChatGPT texts scored higher than student texts, particularly in terms of task requirements and consistency criteria. However, it was also noted that some A2-level student texts were of higher quality than B2-level texts. These results show that ChatGPT can provide support in improving sentence and word accuracy in terms of grammar and ensuring the functional adequacy of the text in the process of developing writing skills in teaching Turkish as a foreign language. Functional adequacy encompasses presenting content that is sufficient and relevant to the topic in terms of meaning, meeting task requirements, writing texts with clearly understood purposes and ideas, and making the text a coherent whole with transition and connection expressions. It is recommended to use ChatGPT during the text planning or review stages to support learners of Turkish as a foreign language in organizing content that is grammatically correct and contextually appropriate.