Παράγοντες που επηρεάζουν τη μέτρηση μαθησιακών επιτευγμάτων στις Φυσικές Επιστήμες: η περίπτωση της TIMSS

Abstract

Η αξιολόγηση των μαθησιακών επιτευγμάτων στην εκπαίδευση αποτελεί αναπόσπαστο κομμάτι της μαθησιακής διαδικασίας. Με τη βοήθεια της αξιολόγησης παίρνουμε χρήσιμες πληροφορίες που αφορούν στο γνωστικό επίπεδο των μαθητών/τριών, στη μαθησιακή διαδικασία, στην αποτελεσματικότητα των μεθόδων διδασκαλίας και του διδακτικού υλικού, καθώς επίσης και των εκπαιδευτικών. Συνεπώς, η καταλληλόλητα των ερωτήσεων που χρησιμοποιούνται στα δοκίμια αξιολόγησης είναι ιδιαίτερα σημαντική ώστε να παρέχουν αξιόπιστη πληροφόρηση σε σχέση με το αξιολογητέο σε κάθε περίπτωση (π.χ. κατανόηση μαθητών/τριών για συγκεκριμένες έννοιες). Η καταλληλόλητα μιας ερώτησης αξιολόγησης, η οποία καθορίζει σε μεγάλο βαθμό την ποιότητα των δεδομένων που συλλέγονται και, συνεπώς, τη δυνατότητά τους να επιτελέσουν τον σκοπό της αξιολόγησης, μπορεί να επηρεάζεται από πολλαπλούς παράγοντες. Ενδεικτικά παραδείγματα αποτελούν ο τύπος της ερώτησης (ανοικτού ή κλειστού τύπου), η θεματική ενότητα (π.χ. θερμότητα/θερμοκρασία, ηλεκτρισμός), και ο βαθμός δυσκολίας τους. Μερικοί επιπρόσθετοι παράγοντες που συνδέονται περισσότερο με τη μορφή παρά το περιεχόμενο της ερώτησης περιλαμβάνουν την παρουσία (ή όχι) εικόνας ή πίνακα δεδομένων, την έκταση της ερώτησης (π.χ. αριθμός λέξεων). Ο σκοπός αυτής της έρευνας είναι να διερευνήσει κατά πόσον αυτοί οι εξωτερικοί παράγοντες (εικόνα, πίνακας δεδομένων και έκταση ερώτησης), επηρεάζουν την προσπάθεια των μαθητών να απαντήσουν και σε ποιο βαθμό. Για τη δημιουργία των δοκιμίων αξιολόγησης που χρησιμοποιήθηκαν σε αυτή την έρευνα αξιοποιήθηκαν αποδεσμευμένες ερωτήσεις Φυσικών Επιστημών της διεθνούς έρευνας TIMSS. Στην έρευνα συμμετείχαν 1245 μαθητές δημοτικού (Δ’, Ε’ και Στ’ τάξης) από 16 σχολεία σε όλη την Κύπρο. Τα αποτελέσματα της έρευνας όσον αφορά στον παράγοντα της εικόνας έδειξαν ότι οι εικόνες που έχουν ζωτικό ρόλο μέσα στην ερώτηση, επειδή παρουσιάζουν απαραίτητες πληροφορίες για την απάντησή της, έχουν θετική επίδραση στην επίδοση των μαθητών/τριών. Για να υπάρξει όμως η θετική επίδραση είναι πολύ σημαντική και η επιλογή της κατάλληλης εικόνας. Όσον αφορά στον πίνακα δεδομένων, τα αποτελέσματα έδειξαν ότι η παρουσίαση πληροφοριών μέσα από εικόνα μειώνει τον βαθμό δυσκολίας της ερώτησης σε σύγκριση με την παρουσίασή τους μέσα από πίνακα. Τα αποτελέσματα για την έκταση της ερώτησης έδειξαν ότι το μεγάλο κείμενο διατύπωσης αυξάνει και τον βαθμό δυσκολίας της ερώτησης, αλλά και την πιθανότητα να μην απαντηθεί από τους/τις μαθητές/τριες. Ακόμα κάτι που προέκυψε από την έρευνα είναι ότι η υπόδειξη της απάντησης πάνω στην εικόνα δεν αποτελεί πάντα ένα εύκολο και κατανοητό τρόπο απάντησης για τους/τις μαθητές/τριες. Τα συμπεράσματα που προκύπτουν από την έρευνα είναι τα εξής: (α) η εικόνα αποτελεί ένα σημαντικό παράγοντα που πρέπει να λαμβάνεται σοβαρά υπόψη κατά τη δημιουργία ερωτήσεων αξιολόγησης, αφού μπορεί να επηρεάσει την επίδοση των μαθητών/τριών, (β) οι πίνακες δεδομένων δεν είναι εύκολα αντιληπτοί από τους/τις μαθητές/τριες και αυτό κάνει δύσκολη τη συλλογή πληροφοριών από αυτούς, (γ) οι μεγάλες ερωτήσεις (μεγάλη έκταση κειμένου) έχουν αυξημένες πιθανότητες να αποφευχθούν από τους/τις μαθητές/τριες, και τέλος (δ) ο τρόπος υπόδειξης της απάντησης πάνω στην εικόνα πρέπει να είναι απλός και οικείος στους/στις μαθητές/τριες. Τα ευρήματα αυτής της έρευνας αποτελούν μια σημαντική προσθήκη γνώσεων στο θεωρητικό πεδίο της αξιολόγησης στην εκπαίδευση. Η αξιοποίησή τους μπορεί να συμβάλει σημαντικά στη συλλογή αξιόπιστων πληροφοριών μέσα από τις αξιολογήσεις. Τα ευρήματα θα μπορούσαν να αξιοποιηθούν από εκπαιδευτικούς που διενεργούν αξιολογήσεις σε επίπεδο τάξης, από συγγραφείς εκπαιδευτικού υλικού και γενικότερα από σχεδιαστές έργων αξιολόγησης, είτε αυτά προορίζονται για μικρής είτε για μεγάλης κλίμακας αξιολογήσεις. Η συγκεκριμένη έρευνα θα μπορούσε να επεκταθεί με τη διεξαγωγή μιας ποιοτικής έρευνας με συνεντεύξεις μαθητών/τριών, η οποία θα ερμήνευε τα εν λόγω αποτελέσματα και θα ενίσχυε ακόμα περισσότερο το υπάρχον σώμα γνώσεων σε σχέση με την αξιολόγηση.

Assessment of learning achievements in education is an integral part of the learning process. Through assessment we acquire useful information regarding students’ cognitive level, the learning process, as well as the effectiveness of teaching methods, teaching materials, and teachers. For this reason, the appropriateness of the questions used in assessment tests is of vital significance so as to provide reliable information in relation to what is being assessed in each case (e.g. students' understanding of specific concepts). The appropriateness of an assessment question, which largely determines the quality of the data collected and thus the purpose and potential of the assessment, can be influenced by multiple factors. Some indicative examples are the type of question (open or closed), the subject area (e.g., heat/temperature, electricity), and the difficulty level. Some additional factors that are more related to the format rather than the content of the question are the presence (or not) of an image or data table, the length of the question (e.g., number of words). The purpose of this research is to investigate whether and to what extent these external factors (image, data table and question length) influence students' attempt to answer. For the assessment tests used in this study, released science items from the international survey TIMSS were used. 1245 primary school students (grades 4, 5 and 6) from 16 schools across Cyprus participated in the research. As far as the presence of an image is concerned, the research results indicated that images which have a vital role in the question, as they present information necessary for answering the question, have a positive effect on students' performance. However, in order to have a positive effect, the choice of a suitable picture is also of great significance. Regarding the data table, the results showed that presenting information through a picture reduces the degree of difficulty of the question compared to presenting it through a table. Moving on to the length of the question, it was revealed that long wording text increases both the degree of difficulty of the question and the likelihood that students will not answer it. Another observation that emerged from the research is that requesting students to indicate the answer on the image is not necessarily an easy and comprehensible way of responding for students. The conclusions drawn from the research are as follows: (a) the image is an important factor that should be taken into high consideration when creating assessment questions, since it can affect students' performance; (b) data tables are not easily comprehended by students and this makes it difficult to derive information from them, (c) long questions (large text length) are more likely to be avoided by students, and finally (d) the way of indicating the answer on the image should be simple and familiar to students. The research findings are an important addition of knowledge to the theoretical field of evaluation in education. Their use can contribute significantly to the collection of reliable information through evaluations. The findings could be used by teachers conducting classroom-level evaluations, by authors of educational materials and by designers of evaluation projects in general, whether these are intended for small or large-scale evaluations. This research could be extended by conducting a qualitative survey with student interviews, so as to interpret these results, strengthening even further the existing knowledge with regard to assessment.