Using process data to measure and model students’ test-taking effort in large-scale low-stakes assessments

Abstract

Achievement tests aim for valid estimation of proficiency, but inadequate test-taking effort may introduce construct-irrelevant variance in low-stakes assessment scores. International programs, like the Programme for International Student Assessment (PISA), have tried to measure test-taking effort since the 2010s, primarily through self-reports. Digitalization of large-scale assessments allows for collecting a large amount of process data on how examinees behave during a test. Unlike self-reports, behavioral measures are not prone to response bias, as they directly capture overt test-taking behaviors. Process data, such as response time, prove valuable in characterizing examinee effort on multiple-choice (MC) items, while limited research has been conducted on other types of items, even though constructed-response (CR) items have been associated with lower levels of effort. In models predicting effortful behavior, the effects of examinee characteristics have been widely examined, but family and school-level factors have not. Cross-national differences in the magnitude of test-taking effort and its relationship to test performance have been observed, but predictions of effort across countries are yet to be explored in depth. In the current thesis, three empirical studies used data from the PISA 2018 Reading assessment to examine indicators, thresholds, and predictors of test-taking effort, addressing gaps in the existing literature. Study I focused on the investigation of different measures of test-taking effort on CR items and their validation with pre-defined criteria. Indices for total response time (TT), number of actions (NoA), the union (combining effortless responses detected by either TT or NoA, or both), and the intersection of TT and NoA (responses identified as effortless by both types of process data) were developed and compared. With the 10% normative threshold identification method (NT10), NoA and union measures had comparable effort results, while TT and intersection detected lower disengagement. TT was a more valid indicator of test-taking effort since NoA and the union resulted in higher response misclassifications on some CR items. Overall, response time was a promising variable for capturing rapid guessing behavior, although there are limitations with its use when studying test-taking effort.

In Study II different TT threshold identification methods for simple and complex MC, and CR items were examined and validated. The study evaluated the NT10, the NT15, and the change in information (ChInf) thresholds. ChInf failed to establish unambiguous thresholds for many items of each item type. The NT10 method yielded more favorable validity results on simple and complex MC items, while the NT15 showed slightly better results on CR items. NT is an easy-to-implement and useful threshold identification method for response time effort. Study III explored individual, family, and school-level predictors of test-taking effort in the PISA assessment across 11 countries, through multilevel modeling. Test performance was a significant predictor of student- and school-level effort in all countries. Socioeconomic status and enjoyment of reading were negatively associated with effort in some countries when demographic, motivational, and school factors were accounted for. Males exhibited lower effort than females. Inconsistent results were found across nations concerning language spoken at home, PISA difficulty, school type, and student behavior hindering the learning process. Tailored and country-specific interventions of effort that align with the local cultures or educational systems may be needed to promote higher examinee engagement in low-stakes assessments. Addressing test-taking effort in international low-stakes large-scale assessments is a complex task requiring valid measures and interventions customized to each context. With more refined indicators, professionals may assess changes in effort across test items and examine item characteristics influencing test-taking behavior. Implementable measures, such as response time effort, can be used in assessments in real-time (e.g., issuing alerts for examinees displaying low effort) to facilitate higher engagement in low-stakes assessments, where low effort can harm test validity. Characteristics that influence examinee effort at the individual and school level can serve as a guide for targeted interventions adapted to diverse cultural contexts.

Τα δοκίμια αξιολόγησης στοχεύουν στην έγκυρη εκτίμηση της επίδοσης, αλλά η ανεπαρκής προσπάθεια των εξεταζόμενων σε δοκιμίων μπορεί να προσθέτει διακύμανση μη σχετική με την πραγματική τους γνώση (construct irrelevant variance) στα σκορ αξιολογήσεων χαμηλού διακυβεύματος (low-stakes assessments). Διεθνή προγράμματα αξιολόγησης, όπως το Πρόγραμμα Διεθνούς Αξιολόγησης Μαθητών (PISA), μετρούν την προσπάθεια κατά τη συμπλήρωση δοκιμίων από τη δεκαετία του 2010, κυρίως μέσω αυτοαναφορών. Η ψηφιοποίηση των δοκιμίων αξιολόγησης μεγάλης κλίμακας επιτρέπει τη συλλογή μεγάλου όγκου δεδομένων διαδικασιών απόκρισης (process data) που δείχνουν πώς συμπεριφέρονται οι εξεταζόμενοι κατά τη διάρκεια ενός δοκιμίου. Αντίθετα με τις αυτοαναφορές, οι συμπεριφορικές μετρήσεις δεν είναι επιρρεπείς σε μεροληψία απαντήσεων (response bias), καθώς καταγράφουν φανερές συμπεριφορές κατά τη συμπλήρωση δοκιμιών. Τα δεδομένα διαδικασιών απόκρισης, όπως ο χρόνος απόκρισης, αποδεικνύονται χρήσιμα για τη μέτρηση της προσπάθειας του εξεταζόμενου σε ερωτήσεις πολλαπλής επιλογής. Ωστόσο, η έρευνα σε ερωτήσεις ανοιχτού τύπου είναι περιορισμένη, παρόλο που ειδικά σε αυτές τις ερωτήσεις η προσπάθεια αναμένεται να είναι χαμηλότερη. Οι σχέσεις μεταξύ ατομικών χαρακτηριστικών και προσπάθειας σε δοκίμια έχουν εξεταστεί ευρέως, αλλά δεν έχουν εξεταστεί παράγοντες πρόβλεψης σε οικογενειακό και σχολικό επίπεδο. Έχουν παρατηρηθεί διαφορές μεταξύ χωρών στο επίπεδο προσπάθειας κατά τη διάρκεια των δοκιμίων αξιολόγησης και στη σχέση της με την επίδοση, αλλά οι προβλέψεις της προσπάθειας δεν έχουν ακόμη εξερευνηθεί εις βάθος σε διεθνές επίπεδο. Στην παρούσα διατριβή, τρεις εμπειρικές μελέτες χρησιμοποίησαν δεδομένα από το δοκίμιο Κατανόησης Κειμένου PISA 2018 για να εξετάσουν δείκτες, κατωφλιακές (threshold) τιμές και προβλεπτικούς παράγοντες της προσπάθειας κατά το τεστ, καλύπτοντας κενά στην υπάρχουσα βιβλιογραφία. Η πρώτη μελέτη εστιάστηκε στην εξέταση διαφορετικών μετρήσεων της προσπάθειας σε ερωτήσεις ανοιχτού τύπου και στην επικύρωσή τους με προκαθορισμένα κριτήρια. Αναπτύχθηκαν και συγκρίθηκαν δείκτες για τον χρόνο απόκρισης (ΧΑ), τον αριθμό ενεργών δράσεων (ΑΕΔ), την ένωση (ο συνδυασμός απαντήσεις χωρίς προσπάθειας που εντοπίστηκαν είτε από τον ΧΑ είτε από τον ΑΕΔ, ή και από τα δύο), καθώς και την τομή του ΧΑ και του ΑΕΔ (απαντήσεις που κατηγοριοποιήθηκαν ως απαντήσεις χωρίς προσπάθειας και από τα δύο είδη δεδομένων διαδικασιών απόκρισης). Με τη χρήση κανονικοποιημένου κατωφλίου 10% (ΚΚ10), οι μετρήσεις ΑΕΔ και ένωσης οδήγησαν σε συγκρίσιμα επίπεδα προσπάθειας, ενώ ο ΧΑ και η τομή ανέδειξαν υψηλότερη προσπάθεια. Ο ΧΑ φάνηκε να είναι πιο έγκυρος δείκτης προσπάθειας, αφού ο ΑΕΔ και η ένωση οδήγησαν σε υψηλότερο επίπεδο εσφαλμένης ταξινόμησης απαντήσεων για κάποιες ερωτήσεις ανοιχτού τύπου. Γενικά, ο ΧΑ αποτελούσε μια συγκριτικά καλύτερη μεταβλητή για την ταξινόμηση των γρήγορων απαντήσεων χωρίς προσπάθειας, αν και υπάρχουν περιορισμοί στη χρήση του για τη μέτρηση της προσπάθειας στα δοκίμια. Στη δεύτερη μελέτη εξετάστηκαν και επικυρώθηκαν διαφορετικές μέθοδοι εντοπισμού κατωφλίου του ΧΑ για απλές και πολύπλοκες ερωτήσεις πολλαπλής επιλογής, καθώς και για ερωτήσεις ανοιχτού τύπου. Η μελέτη αξιολόγησε τις μεθόδους ΚΚ10, ΚΚ15 και τη μέθοδο αλλαγής στην επαρκή πληροφόρηση (ChInf). Η ChInf απέτυχε να εντοπίσει αναμφισβήτητα κατώφλια για πολλές ερωτήσεις διαφορετικών τύπων. Η μέθοδος ΚΚ10 οδήγησε σε πιο ευνοϊκά αποτελέσματα εγκυρότητας στις ερωτήσεις πολλαπλής επιλογής, ενώ η ΚΚ15 έδειξε ελαφρώς καλύτερα αποτελέσματα στις ερωτήσεις ανοιχτού τύπου. Η ΚΚ αποτελεί μια εύκολα εφαρμόσιμη και χρήσιμη μέθοδο εντοπισμού κατωφλίου του χρόνου απόκρισης για τη μέτρηση της προσπάθειας. Η τρίτη μελέτη διερεύνησε τους ατομικούς, οικογενειακούς και σχολικούς προβλεπτικούς παράγοντες της προσπάθειας κατά τη διάρκεια του δοκιμίου PISA σε 11 χώρες, μέσω πολυεπίπεδων μοντέλων. Η επίδοση στο δοκίμιο αξιολόγησης Κατανόησης Κειμένου στο Πρόγραμμα PISA 2018 ήταν σημαντικός προβλεπτικός παράγοντας της προσπάθειας σε επίπεδο μαθητή και σχολείου σε όλες τις χώρες. Η κοινωνικοοικονομική κατάσταση και η απόλαυση της ανάγνωσης συσχετίζονταν αρνητικά με την προσπάθεια σε κάποιες χώρες, όταν λαμβάνονταν υπόψη τα κίνητρα, η επίδοση των μαθητών, οι δημογραφικοί και οι σχολικοί παράγοντες. Οι μαθητές παρουσίασαν χαμηλότερη προσπάθεια στο δοκίμιο σε σχέση με τις μαθήτριες. Τα αποτελέσματα που αφορούν τη γλώσσα που μιλιέται στο σπίτι, τη δυσκολία του PISA, τον τύπο του σχολείου και τη συμπεριφορά του μαθητή στο σχολείο που εμποδίζει τη διαδικασία μάθησης, ήταν ασυνεπή ανά χώρα. Η ενίσχυση της προσπάθειας κατά τη διάρκεια μιας αξιολόγησης χαμηλού διακυβεύματος ενδεχομένως να απαιτεί παρεμβάσεις προσαρμοσμένες στις τοπικές πολιτιστικές ή εκπαιδευτικές συνθήκες κάθε χώρας. Η αντιμετώπιση της χαμηλής προσπάθειας κατά τη διάρκεια διεθνών αξιολογήσεων χαμηλού διακυβεύματος είναι μια πολύπλοκη διαδικασία που απαιτεί έγκυρες μετρήσεις και προσαρμοσμένες στο πλαίσιο παρέμβασης. Με πιο βελτιωμένους και έγκυρους δείκτες της προσπάθειας, οι ερευνητές θα μπορέσουν να αξιολογήσουν τις αλλαγές στην προσπάθεια που προκύπτουν ανάλογα με τα είδη και τα χαρακτηριστικά των ερωτήσεων. Εύκολα εφαρμόσιμοι δείκτες, όπως ο χρόνος απόκρισης, μπορούν να χρησιμοποιηθούν σε πραγματικό χρόνο κατά τη διάρκεια της αξιολόγησης (π.χ., ειδοποιώντας άμεσα τους εξεταζόμενους που εμφανίζουν χαμηλή προσπάθεια) για την προώθηση μεγαλύτερης προσπάθειας. Τα χαρακτηριστικά που επηρεάζουν την προσπάθεια των εξεταζόμενων σε ατομικό και σχολικό επίπεδο μπορούν να λειτουργήσουν ως οδηγός για τη δημιουργία συγκεκριμένων και προσαρμοσμένων σε διαφορετικά πολιτιστικά πλαίσια παρεμβάσεων.