Constructing spatial situation models from comics

Abstract

Έρευνες στο χώρο της μνήμης και της κατανόησης ιστοριών, μέσα από την κατασκευή εις βάθος νοητικών μοντέλων δείχνουν πως, όταν ζητηθεί από τους αναγνώστες να προσέξουν τις χωροταξικές πληροφορίες, οι αναγνώστες αναγνωρίζουν τις χωροταξικές αλλαγές που λαμβάνουν χώρα όταν ένας πρωταγωνιστής κινείται στην ιστορία. Ωστόσο, αυτό που παραμένει άγνωστο είναι το πως οι αναγνώστες αναγνωρίζουν χωροταξικές αλλαγές που λαμβάνουν χώρα όταν διαβάζουν κόμικς, τα οποία συνδυάζουν λεκτικές με οπτικές πληροφορίες. Σε 4 πειράματα της παρούσας έρευνας, οι συμμετέχοντες απομνημόνευσαν τις τοποθεσίες των αντικειμένων σε κατόψεις κτιρίων και έπειτα, διάβασαν τέσσερις ιστορίες για έναν πρωταγωνιστή που κινείται στο κτίριο για να πετύχει κάποιο στόχο. Έπειτα από κάθε αλλαγή δωματίου, η ανάγνωση σταματούσε. Τότε οι συμμετέχοντες προβάλλονταν με ζεύγη αντικειμένων, τα οποία καλούνταν να κρίνουν εάν προέρχονταν από ίδια ή διαφορετικά δωμάτια. Στο Πείραμα 1, οι συμμετέχοντες κωδικοποίησαν οπτικά τις τοποθεσίες των αντικειμένων και, έχοντας οδηγίες να παρακολουθήσουν τις χωροταξικές πληροφορίες, διάβασαν τις τέσσερις ιστορίες μέσα από κείμενα ή κόμικς. Στο Πείραμα 2, οι συμμετέχοντες διάβασαν τις ιστορίες μέσω κόμικς, υπό κανονικές συνθήκες ανάγνωσης χωρίς οδηγίες. Στο Πείραμα 3, κωδικοποίησαν τα αντικείμενα λεκτικά (αντί οπτικά). Στο Πείραμα 4, οι συμμετέχοντες κωδικοποίησαν το χώρο οπτικά, και όσο απαντούσαν, καταγράφονταν οι κινήσεις των ματιών τους. Τα αποτελέσματα από τα Πειράματα 1 και 2 έδειξαν ότι οι απαντήσεις ήταν πιο γρήγορες για ζεύγη αντικειμένων που βρίσκονταν στο ίδιο δωμάτιο με τον πρωταγωνιστή, τη στιγμή της διακοπής, σε σύγκριση με άλλα δωμάτια. Αυτό συνέβαινε τόσο με τα κείμενα όσο και με τα κόμικς, γεγονός που υποδηλώνει ότι όταν οι άνθρωποι έχουν οδηγίες να παρακολουθήσουν χωροταξικές πληροφορίες, τότε η αναγνώριση αλλαγών στα κόμικς λειτουργεί με τον ίδιο τρόπο σε κείμενα και κόμικς. Συγκεκριμένα, σε αντίθεση με προηγούμενες μελέτες με τα κείμενα, το Πείραμα 2 έδειξε ότι με τα κόμικς οι οδηγίες για την παρακολούθηση χωροταξικών αλλαγών δεν είναι απαραίτητες. Τα αποτελέσματα από το Πείραμα 3 δεν έδειξαν καμία επίδραση για την αναγνώριση χωροταξικών αλλαγών, εύρημα, που υποδηλώνει ότι μια τέτοια λειτουργία πραγματοποιείται μόνο όταν το περιβάλλον κωδικοποιείται οπτικά. Τα αποτελέσματα από το Πείραμα 4 αναπαράγουν το μοτίβο των ευρημάτων των Πειραμάτων 1 και 2, ενώ τα αποτελέσματα καταγραφής των ματιών δεν έδειξαν καμία προτίμηση, είτε προς το δωμάτιο όπου ο πρωταγωνιστής βρισκόταν τη στιγμή της διακοπής είτε στο δωμάτιο όπου βρίσκονταν τα αντικείμενα. Έτσι, δεν υπήρχαν ενδείξεις ότι η οπτική κωδικοποίηση λειτουργεί ως εξωτερική μνήμη που παρέχει στοιχεία για ανάκτηση ή ως βοηθητικό μέσο νοητικής παρακολούθησης της πορείας του ήρωα κατά την ανάγνωση των ιστοριών. Συνολικά, τα ευρήματα από την τρέχουσα μελέτη δείχνουν ότι τα κόμικς μπορούν να υποστηρίξουν την κατασκευή εις βάθος νοητικών μοντέλων και, μάλιστα, τα αποτελέσματα δείχνουν να είναι και πιο αποτελεσματικά από τα κείμενα για την αναγνώριση χωροταξικών πληροφοριών.

Research on constructing situation models from texts indicates that, when instructed to attend spatial information, readers foreground shifts in the spatial location of a described moving protagonist. However, it is still unknown how people foreground spatial shifts in comics, which combine linguistic with visual information. In 4 experiments in the present study, participants memorized the locations of objects in building layouts and then read four stories about a protagonist moving in the building to accomplish a goal. The reading was interrupted with probes of pairs of objects and participants were asked to respond if the objects came from same or different rooms. In Experiment 1, participants encoded the locations of objects visually and were instructed to attend spatial information while reading the stories via texts or comics. In Experiment 2, participants read the stories via comics, under normal reading conditions with no instructions. In Experiment 3, they encoded the objects verbally (instead of visually) by reading survey descriptions. In Experiment 4, participants encoded the layouts visually, while their gaze was monitored using eye tracking. Results from Experiments 1 and 2 revealed the presence of a location effect. That is, responses were faster for pairs of objects located in the room where the protagonist was at the time of the interruption compared to other rooms. This was the case with both texts and comics, suggesting that when people are explicitly instructed to attend spatial information, the foregrounding of spatial shifts in comics operates the same way in texts and comics. Notably, unlike previous studies with texts, Experiment 2 indicated that instructions to monitor spatial shifts are not necessary with comics. Results from Experiment 3 showed no location effect. This finding suggests that the foregrounding of spatial shifts in comics takes place only when the environment is encoded visually. Results from Experiment 4 replicated the pattern of findings of Experiments 1 and 2, and eye-tracking results showed no preferential gazing during retrieval, either to the room where the protagonist was at the time of interruption or to the room where the objects were located. Thus, there was no evidence that the visual layouts function as external memories providing cues for retrieval or as the means for scaffolding during the reading of the stories. Overall, the findings from the current study indicate that comics can support the construction of situation models and may even be more efficient than texts for the foregrounding of spatial shifts.