Investigation of instructors’ learning analytics indicator preferences in smart mooc dashboard: an eye-tracking study

Abstract

The use of dashboards in e-learning environments is becoming increasingly common. In these dashboards, necessary data can be analyzed and monitored for students, teachers and administrators. However, when the literature is examined, it is understood that more research is needed on which indicators and metrics should be included in dashboards. Within the scope of this study, the indicators and metrics in the teacher dashboard of the Smart MOOC system were analyzed from the perspective of the instructor. In other words, it was evaluated which of the indicators and metrics related to the class on the dashboard the instructors examined more and which ones they examined less. The research was conducted using an eye-tracking method. The research was conducted with 5 instructors who actively use the Smart MOOC environment and have taught courses in this environment. The results of the research show that the instructors focus more on the following metrics on the dashboard; the instructors look at the student’s performance in the course, successful and unsuccessful subjects, and the duration of students’ use of the system and its components. In line with the findings of the study, several suggestions were made for future research and dashboard design.

E-öğrenme ortamlarında gösterge tablolarının kullanımı giderek yaygınlaşmaktadır. Bu kontrol panellerinde öğrenciler, öğretmenler ve yöneticiler için gerekli veriler analiz edilip takip edilebilmektedir. Ancak literatür incelendiğinde gösterge tablolarında hangi gösterge ve metriklerin yer alması gerektiği konusunda daha fazla araştırmaya ihtiyaç olduğu anlaşılmaktadır. Bu çalışma kapsamında Akıllı MOOC sisteminin öğretmen kontrol panelinde yer alan gösterge ve metrikler öğretim elemanı bakış açısıyla analiz edilmiştir. Yani öğretim elemanlarının gösterge panosundaki derse ilişkin gösterge ve metriklerden hangilerini daha çok, hangilerini daha az inceledikleri değerlendirildi. Araştırma göz takip yöntemi kullanılarak gerçekleştirilmiştir. Araştırma Akıllı MOOC ortamını aktif olarak kullanan ve bu ortamda ders veren 5 öğretim elemanı ile gerçekleştirilmiştir. Araştırmanın sonuçları eğitmenlerin gösterge tablosunda şu metriklere daha çok odaklandığını gösteriyor; eğitmenler öğrencinin dersteki performansına, başarılı ve başarısız konulara, öğrencinin sistemi ve bileşenlerini kullanma süresine bakar. Araştırmanın bulguları doğrultusunda gelecekte yapılacak araştırmalara ve gösterge tablosu tasarımına yönelik çeşitli önerilerde bulunulmuştur.