Assessing teacher effectiveness : developing a model that takes into account the classroom context effects in measuring quality of teaching

Abstract

Οι περισσότερες χώρες του κόσμου χρησιμοποιούν μεθόδους μέτρησης της ποιότητας της διδασκαλίας όπως την παρατήρηση στην τάξη, ως απαραίτητο κομμάτι των συστημάτων αξιολόγησής τους. Η έμφαση που δίνεται στη διδασκαλία για την αξιολόγηση των εκπαιδευτικών δικαιολογείται από τα αποτελέσματα ερευνών, που πραγματοποιήθηκαν στο χώρο της εκπαιδευτικής αποτελεσματικότητας, τα οποία έδειξαν ότι το τι πραγματικά κάνουν οι εκπαιδευτικοί στην τάξη είναι ο πιο σημαντικός παράγοντας στο επίπεδο της τάξης που σχετίζεται με τα μαθησιακά αποτελέσματα. Κατά τις τελευταίες δεκαετίες έχουν αναπτυχθεί αρκετά θεωρητικά πλαίσια για τη μελέτη και την ανάλυση της διδασκαλίας και έχουν πραγματοποιηθεί αρκετές έρευνες που διερεύνησαν θέματα που σχετίζονται με την εγκυρότητα και την αξιοπιστία δεδομένων που αφορούν στην ποιότητα της διδασκαλίας. Ωστόσο, δεν κατέστη ακόμη ξεκάθαρο εάν η μέτρηση των διδακτικών δεξιοτήτων εξαρτάται από το συγκείμενο της τάξης και πιο συγκεκριμένα εάν οι εκπαιδευτικοί παρουσιάζουν τις ίδιες γενικευμένες (generic) δεξιότητες διδασκαλίας όταν διδάσκουν σε διαφορετικές τάξεις. Στο πλαίσιο αυτό, η παρούσα έρευνα διερευνά κατά πόσο μπορούν να παραχθούν παρόμοια σκορ για τις γενικευμένες διδακτικές δεξιότητες των ίδιων εκπαιδευτικών της δευτεροβάθμιας εκπαίδευσης, μέσω της παρακολούθησης της διδασκαλίας Μαθηματικών σε διαφορετικές τάξεις μαθητών (ίδιας ηλικιακής ομάδας) και μέσω των αξιολογήσεων της συμπεριφοράς των εκπαιδευτικών στην τάξη από τους μαθητές των τάξεων αυτών. Όσον αφορά στο θεωρητικό πλαίσιο της έρευνας, χρησιμοποιήθηκε το δυναμικό μοντέλο της εκπαιδευτικής αποτελεσματικότητας, το οποίο αναφέρεται σε οχτώ γενικευμένους παράγοντες του επιπέδου της τάξης που περιγράφουν το διδακτικό ρόλο των εκπαιδευτικών. Δεδομένου ότι οι προηγούμενες έρευνες που εξέτασαν την εγκυρότητα αυτού του μοντέλου πραγματοποιήθηκαν σε Δημοτικά σχολεία και σε Νηπιαγωγεία, επιπρόσθετος στόχος της παρούσας έρευνας είναι η διαπίστωση της επίδρασης του κάθε παράγοντα που περιλαμβάνεται στο επίπεδο της τάξης, καθώς και των διαστάσεών του, στην πρόοδο των μαθητών της δευτεροβάθμιας εκπαίδευσης. Επιπρόσθετα, μέσω της συλλογής δεδομένων από περισσότερες από μία τάξεις στις οποίες διδάσκουν οι ίδιοι εκπαιδευτικοί, η έρευνα αυτή στοχεύει επίσης στη διάκριση της επίδρασης του επιπέδου της τάξης από την επίδραση του επιπέδου του εκπαιδευτικού, καθώς επίσης και στον εντοπισμό του επιπέδου που μπορεί να ερμηνεύσει το μεγαλύτερο ποσοστό της διασποράς στα μαθησιακά αποτελέσματα των μαθητών. Το δείγμα της έρευνας επιλέγηκε με τη βοήθεια της μεθόδου της κατά στάδιο δειγματοληψίας. Συγκεκριμένα, επιλέγηκαν αρχικά 12 Γυμνάσια. Στη συνέχεια, επιλέγηκαν όλοι οι εκπαιδευτικοί των σχολείων που συμμετείχαν στην έρευνα, οι οποίοι δίδασκαν μαθηματικά σε τουλάχιστον δύο τάξεις μαθητών Α’ ή/και Β’ Γυμνασίου. Στην έρευνα αυτή συμμετείχαν 26 εκπαιδευτικοί και 915 μαθητές των τάξεων (n=57) των εκπαιδευτικών που συμμετείχαν στην έρευνα. Η επίδοση των μαθητών στα Μαθηματικά μετρήθηκε στην αρχή και στο τέλος της σχολικής χρονιάς 2014-2015 με τη χρήση γραπτών δοκιμίων αξιολόγησης. Τα γραπτά δοκίμια αναπτύχθηκαν και εγκυροποιήθηκαν σε πιλοτική έρευνα που είχε διεξαχθεί την προηγούμενη χρονιά (2013-2014). Η συμπεριφορά των εκπαιδευτικών στην τάξη μετρήθηκε μέσω παρατηρήσεων με τη χρήση εργαλείων παρατήρησης χαμηλού (low-inference) και υψηλού συμπερασμού (high-inference), καθώς και μέσω ερωτηματολογίου που δόθηκε στους μαθητές. Για τη διερεύνηση της συνέπειας της διδακτικής συμπεριφοράς των εκπαιδευτικών σε διαφορετικές τάξεις διεξήχθη μελέτη γενικευσιμότητας (generalisability study). Τα αποτελέσματα των αναλύσεων αυτών κατέδειξαν ότι οι εκπαιδευτικοί της δευτεροβάθμιας εκπαίδευσης δείχνουν συνέπεια στη διδακτική τους συμπεριφορά σε διαφορετικές τάξεις για τους περισσότερους παράγοντες του επιπέδου της τάξης του δυναμικού μοντέλου, ανεξάρτητα από το εργαλείο που χρησιμοποιήθηκε για τη μέτρησή τους. Ωστόσο, η μελέτη γενικευσιμότητας έδειξε ότι για την πλειοψηφία των διαστάσεων των παραγόντων του προσανατολισμού και της διαχείρισης της απειθαρχίας, τα σκορ των εκπαιδευτικών είναι γενικεύσιμα στο επίπεδο της τάξης και όχι στο επίπεδο του εκπαιδευτικού. Επιπλέον, φάνηκε ότι όταν ο ίδιος ο εκπαιδευτικός αξιολογείται σε διαφορετικές τάξεις, το είδος του εργαλείου που θα χρησιμοποιηθεί για τη μέτρηση των διδακτικών του δεξιοτήτων μπορεί να επηρεάσει το βαθμό στον οποίο μπορούν να προκύψουν παρόμοια συμπεράσματα για τις δεξιότητές του σχετικά με κάποιες διαστάσεις κάποιων παραγόντων (π.χ., τη διάσταση της συχνότητας του προσανατολισμού). Για τον προσδιορισμό του βαθμού στον οποίο κάθε παράγοντας του επιπέδου της τάξης σχετίζεται με την πρόοδο των μαθητών της δευτεροβάθμιας εκπαίδευσης στα Μαθηματικά, έγινε χρήση των πολυεπίπεδων μοντέλων (multilevel modelling techniques). Το μηδενικό μοντέλο των πολυεπίπεδων αναλύσεων κατέδειξε ότι το επίπεδο του εκπαιδευτικού μπορεί να ερμηνεύσει μεγαλύτερο ποσοστό διασποράς στα μαθησιακά αποτελέσματα από αυτό που μπορεί να ερμηνεύσει το επίπεδο της τάξης. Ακόμη, τα αποτελέσματα των αναλύσεων αυτών υποστηρίζουν τη γενικευμένη (generic) φύση των παραγόντων του επιπέδου της τάξης του δυναμικού μοντέλου, καθώς κατέδειξαν ότι οι παράγοντες αυτοί σχετίζονται και με την προαγωγή των μαθησιακών αποτελεσμάτων των μαθητών της δευτεροβάθμιας εκπαίδευσης πέραν των μαθητών της πρωτοβάθμιας εκπαίδευσης. Τέλος, διαφάνηκε καμπυλόγραμμη σχέση μεταξύ ορισμένων διαστάσεων ορισμένων παραγόντων με τα μαθησιακά αποτελέσματα (π.χ., τη διάσταση της εστίασης των τεχνικών ερωτήσεων). Στο τελευταίο μέρος της παρούσας εργασίας, γίνεται αναφορά στη συνεισφορά των αποτελεσμάτων της έρευνας στη θεωρία και στην πράξη, ειδικά στην αξιολόγηση των εκπαιδευτικών και στην επαγγελματική τους ανάπτυξη. Επιπλέον, παρουσιάζονται εισηγήσεις για περαιτέρω έρευνα.

Most countries around the world use measures of quality of teaching, such as classroom observation, as an essential aspect of their teacher evaluation systems. The focus on teaching for evaluating teachers is justified by the findings of effectiveness studies which reveal that what teachers actually do in the classroom is the most important factor at classroom level associated with student outcomes. Over the last decades several theoretical frameworks have been developed to study and analyse teaching and several studies have been carried out to investigate issues related to the validity and reliability of data on quality of teaching. However, what is not yet clear is whether measuring teaching skills depends on the classroom context, and more specifically if teachers exhibit the same generic teaching skills when they teach in different classrooms. In this context, this study investigates whether we can generate similar scores about secondary school teachers’ generic teaching skills through observing them teaching mathematics in different classrooms of the same age group of students, and through asking students from different classrooms to evaluate the classroom behaviour of their teacher. Concerning its theoretical framework, the study made use of the dynamic model of educational effectiveness, which refers to eight generic classroom-level factors that describe teachers’ instructional role. Given that previous studies testing the validity of this model were conducted in primary and pre-primary schools, the current study also aims to identify the effect of each classroom-level factor of the dynamic model and its dimensions on achievement gains in mathematics of secondary students. In addition, by collecting data from more than one classroom of the same teachers, this study aims to distinguish between the classroom and teacher effect and investigate which level can explain more variance in student outcomes. A stage sampling procedure was used. Specifically, 12 lower secondary schools were initially selected. Then, all teachers of the school sample who taught mathematics in at least two classrooms of students of the same grade (i.e., grade 7 and/or grade 8) were chosen. About 915 students of the class sample (n=57) and 26 teachers participated in this study. Student achievement in mathematics was measured at the beginning and at the end of the school year 2014-2015 by using external forms of assessment. The written tests were developed and validated in a pilot study conducted in the previous year (2013-2014). Teacher behaviour in the classroom was measured by classroom observations using low and high-inference observation instruments and through a student questionnaire. A generalisability study was conducted in order to examine the consistency of teacher behaviour across different classrooms. The results of these analyses revealed that secondary school teachers behave consistently in different classrooms for most classroom-level factors of the dynamic model irrespective of the instrument used to evaluate them. However, the generalisability study showed that the teacher scores regarding the majority of the dimensions of orientation and dealing with misbehaviour are not generalisable at the teacher level but are generalisable at the classroom level. In addition, it was found that the type of instrument used to measure teaching skills can contribute to whether similar judgements will be produced when the same teacher is evaluated across different classrooms, for some dimensions of some factors (e.g., the frequency dimension of orientation). Multilevel modelling techniques were also used to identify the extent to which each classroom-level factor is associated with achievement gains in mathematics of secondary school students. The empty model of the multilevel analyses revealed that the teacher level explains more variance in student outcomes than the classroom level. Moreover, the results of these analyses revealed that the classroom-level factors of the dynamic model are relevant for promoting secondary school students learning outcomes too, providing support to the generic nature of these factors in different phases of schooling. Curvilinear relations between some dimensions of some factors (e.g., the focus dimension of questioning techniques) and student achievement were also identified. Implications of the findings for theory and practice, especially for teacher evaluation and professional development, are drawn and suggestions for further research are provided.