Investigating the impact of teaching quality on student cognitive outcomes: a follow-up study using TIMSS 2019

Abstract

One of the most important assumptions coming from the Educational Effectiveness Research (EER) is the significance of the teaching quality. At the same time, ILSA studies such as TIMSS shows a large interest in studying this construct and examining its relation to student learning outcomes. However, research has systematically claimed that cross-sectional studies raise some issues regarding omitted variables and reverse causality which can reveal associations between teaching practices and student achievement that are against expectations and at odds with EER theory. Therefore, this study explores the prospects of combining fundamentals of EER with ILSA data by extending TIMSS 2019 study into a follow-up study in Cyprus. This approach enabled us to examine what is the contribution of TIMSS educational assessment in Educational Effectiveness Research and in Teacher Effectiveness Research in particular. Consequently, a number of 4th grade students who participated in TIMSS 2019 were followed next academic year, thus data about their achievement in mathematics were collected twice during 2019 and 2020 in Cyprus. At the same time, two different theoretical frameworks were integrated in the study, namely the Dynamic Model of Educational Effectiveness (DMEE) and TIMSS 2019 for examining the effect of teaching quality on student cognitive outcomes. The sample of the study consisted of 519 5th grade students and their teachers (n=32). The data for measuring teaching quality was collected through student questionnaire and classroom observations and we performed multilevel modeling techniques for each of the two analyses. In particular, analysis 1 followed TIMSS cross-sectional design and the effect of teaching quality on student final mathematics achievement was investigated. For analysis 2, matched national assessment data-set was obtained containing students’ prior achievement data participating in TIMSS 2019. The results of the study supported TIMSS predictive validity of student mathematics achievement claiming that a follow-up study using TIMSS data could be a way to reinforce EER with longitudinal data. Furthermore, more classroom-level effects were observed when students’ prior achievement was added in analysis 2, while it is observed that negative and statistically associations in analysis 1 turned non-significant or positive when student prior achievement was considered. Only DMEE classroom factors revealed statistically significant effects on student mathematics achievement and those effects were supported mainly from observational data. Effect sizes of the teaching factors on student cognitive outcomes were calculated for both analyses. Potentials and limitations of the study’s approach for studying educational effectiveness with international assessment data are discussed, while implications for theory, research, and policy are drawn.

Μία από τις πιο σημαντικές παραδοχές που προέρχονται από την Έρευνα Εκπαιδευτικής Αποτελεσματικότητας (ΕΕΑ) είναι η σημασία της ποιότητας της διδασκαλίας. Ταυτόχρονα, διεθνείς μεγάλης κλίμακας αξιολογικές έρευνες, όπως η TIMSS δείχνουν μεγάλο ενδιαφέρον για τη μελέτη της ποιότητας της διδασκαλίας και την εξέταση της σχέσης της με τα μαθησιακά αποτελέσματα. Παρόλα αυτά, η έρευνα έχει υποστηρίξει συστηματικά ότι οι συγχρονικές μελέτες εγείρουν ορισμένα ζητήματα σχετικά με τις παραληφθείσες μεταβλητές και την αντίστροφη αιτιότητα που μπορούν να φανερώσουν συσχετίσεις μεταξύ των διδακτικών πρακτικών και της επίδοσης των μαθητών που είναι αντίθετες με τη θεωρία της ΕΕΑ. Με βάση το συγκεκριμένο πλαίσιο, η συγκεκριμένη μελέτη διερευνά τις προοπτικές συνδυασμού των θεμελιωδών στοιχείων της ΕΕΑ με δεδομένα διεθνών μεγάλης κλίμακας αξιολογικών ερευνών επεκτείνοντας τη μελέτη TIMSS 2019 σε μια μελέτη παρακολούθησης (follow-up) στην Κύπρο. Αυτή η προσέγγιση μας έδωσε τη δυνατότητα να εξετάσουμε ποια είναι η συμβολή της εκπαιδευτικής αξιολόγησης TIMSS στην Έρευνα Εκπαιδευτικής Αποτελεσματικότητας και ειδικότερα στην Έρευνα για την Αποτελεσματικότητα των Εκπαιδευτικών. Συνεπώς, ορισμένοι μαθητές της Δ΄ τάξης που συμμετείχαν στη TIMSS 2019 ακολουθήθηκαν το επόμενο ακαδημαϊκό έτος, με αποτέλεσμα να συγκεντρωθούν δεδομένα για τις επιδόσεις τους στα μαθηματικά δύο φορές το 2019 και το 2020 στην Κύπρο. Ταυτόχρονα, στη μελέτη ενσωματώθηκαν δύο διαφορετικά θεωρητικά πλαίσια, δηλαδή το Δυναμικό Μοντέλο Εκπαιδευτικής Αποτελεσματικότητας (ΔΜΕΑ) και η TIMSS 2019 για την εξέταση της επίδρασης της ποιότητας διδασκαλίας στα γνωστικά αποτελέσματα των μαθητών. Το δείγμα της έρευνας αποτέλεσαν 519 μαθητές της Ε' τάξης και οι δάσκαλοί τους (n=32). Τα δεδομένα για τη μέτρηση της ποιότητας της διδασκαλίας συλλέχθηκαν μέσω του ερωτηματολογίου του μαθητή και από παρατηρήσεις τάξεων. Τεχνικές πολυεπίπεδης μοντελοποίησης πραγματοποιήθηκαν για καθεμία από τις δύο αναλύσεις. Ειδικότερα, η ανάλυση 1 ακολούθησε τον μεθοδολογικό σχεδιασμό της TIMSS και διερευνήθηκε η επίδραση της ποιότητας διδασκαλίας στην τελική επίδοση των μαθητών στα μαθηματικά. Για την ανάλυση 2, εθνικά δεδομένα αντιστοίχισης χρησιμοποιήθηκαν από τη TIMSS 2019 και από την αξιολόγηση που συμμετείχαν μαθητές της Κύπρου. Τα αποτελέσματα της μελέτης υποστήριξαν την προγνωστική εγκυρότητα της TIMSS των επιτευγμάτων των μαθητών στα μαθηματικά, υποστηρίζοντας ότι μια μελέτη παρακολούθησης χρησιμοποιώντας δεδομένα TIMSS θα μπορούσε να είναι ένας τρόπος ενίσχυσης της ΕΕΑ με διαχρονικά δεδομένα. Επιπλέον, παρατηρήθηκαν περισσότερες επιδράσεις σε επίπεδο τάξης όταν προστέθηκαν τα προηγούμενα επιτεύγματα των μαθητών στην ανάλυση 2, ενώ παρατηρήθηκε ότι οι αρνητικές και στατιστικές συσχετίσεις στην ανάλυση 1 έγιναν μη σημαντικές ή θετικές όταν λήφθηκε υπόψη η προηγούμενη επίδοση των μαθητών. Μόνο οι παράγοντες του ΔΜΕΑ εμφάνισαν στατιστικά σημαντικές επιδράσεις στην επίδοση των μαθητών στα μαθηματικά και αυτές οι επιδράσεις υποστηρίχθηκαν κυρίως από τα δεδομένα παρατήρησης. Υπολογίστηκαν τα μεγέθη επίδρασης των παραγόντων διδασκαλίας στα γνωστικά αποτελέσματα των μαθητών και για τις δύο αναλύσεις. Δυνατότητες και περιορισμοί της προσέγγισης της συγκεκριμένης μελέτης για τη διερεύνηση της εκπαιδευτικής αποτελεσματικότητας με διεθνή δεδομένα αξιολόγησης συζητούνται, ενώ αναφέρονται οι επιπτώσεις για τη θεωρία, την έρευνα και την πολιτική.