Responding to positively and negatively worded items : correlational and experimental evidence in conceptually distinct areas

Abstract

Τα ερωτηματολόγια αποτελούν ένα διαδεδομένο και εύχρηστο εργαλείο για την εμπειρική διερεύνηση ερευνητικών υποθέσεων. Ωστόσο, η ευαισθησία τους σε τάσεις απόκρισης επηρεάζει την εγκυρότητα και αξιοπιστία των αποκρίσεων. Με στόχο την αντιμετώπιση τάσεων συναίνεσης και απροσεξίας κατά τη συμπλήρωση των ερωτηματολογίων, συστήνεται η χρήση αρνητικά διατυπωμένων ερωτήσεων. Παρόλα αυτά, η χρήση τους κατέδειξε ότι οι αρνητικά διατυπωμένες ερωτήσεις διαφέρουν ψυχομετρικά από τις θετικά διατυπωμένες ερωτήσεις, οδηγούν σε διαφορετικές απαντήσεις και επηρεάζουν τη δομική εγκυρότητα των κλιμάκων. Στόχοι. Η παρούσα διατριβή με δύο μελέτες στοχεύει στο να αναδείξει τη φύση των επιδράσεων λεκτικής διατύπωσης και να εξετάσει χαρακτηριστικά που συνδέονται με την παρουσία τους. Συγκεκριμένα, η πρώτη μελέτη με τη χρήση τριών εννοιολογικά διακριτών ερωτηματολογίων στοχεύει στο να διερευνήσει: (α) την παρουσία και το μέγεθος των επιδράσεων διατύπωσης, (β) την ύπαρξη κοινής διακύμανσης μεταξύ τους, και (γ) ομοιότητες και διαφορές στο νομολογικό τους δίκτυο σε ερωτηματολόγια που αξιολογούν πεποιθήσεις σχετικές με τον εαυτό ή με άλλους. Η δεύτερη έρευνα με τη χρήση συσκευής παρακολούθησης των ματιών, μία νέα προσέγγιση στον τομέα μελέτης των επιδράσεων διατύπωσης, εξέτασε την επιρροή χαρακτηριστικών των στοιχείων (λεκτική διατύπωση, σχετικότητα ερωτήσεων με τον εαυτό) και των ατόμων (νευρωτισμό, λεκτικές ικανότητες, διάθεση) στη διαδικασία απόκρισης. Μεθοδολογία και Αποτελέσματα. Η πρώτη μελέτη βασίστηκε σε συσχετιστικό σχεδιασμό. Μια μπαταρία ερωτηματολογίων χορηγήθηκε ηλεκτρονικά σε 463 φοιτητές. Τα αποτελέσματα από μοντέλα λανθανουσών μεταβλητών υποστήριξαν τη θεωρητική δομή των ερωτηματολογίων μετά τον έλεγχο των λεκτικών επιδράσεων και την ύπαρξη κοινής διακύμανσης, κυρίως μεταξύ των επιδράσεων που προκύπτουν από τις θετικά διατυπωμένες δηλώσεις. Επεκτείνοντας προηγούμενες έρευνες εντοπίστηκαν διαφορές στο νομολογικό δίκτυο των επιδράσεων διατύπωσης σε ερωτηματολόγια που αξιολογούν πεποιθήσεις σχετικές και μη σχετικές με τον εαυτό. Η δεύτερη μελέτη βασίστηκε σε πειραματικό σχεδιασμό. Δείγμα 104 φοιτητών συμπλήρωσε την κλίμακα αυτοεκτίμησης Rosenberg (Rosenberg, 1965) και ερωτηματολόγιο με στοιχεία διατυπωμένα σε τέσσερις διαφορετικούς τύπους διατύπωσης (θετικό, αρνητικό, αρνητικό με τη χρήση θετικού επιθέτου, αρνητικό με τη χρήση αρνητικού επιθέτου) ηλεκτρονικά. Τα μισά από τα στοιχεία αναφέρονται σε πεποιθήσεις σχετικές με τον εαυτό και τα άλλα σε πεποιθήσεις σχετικές με άλλα άτομα. Κατά τη συμπλήρωση των ερωτηματολογίων οι κινήσεις των ματιών των συμμετεχόντων καταγράφονταν με τη χρήση της συσκευής Gazepoint-GP3-HD. Τα αποτελέσματα από μοντέλα γραμμικών μεικτών επιδράσεων κατέδειξαν ότι η λεκτική διατύπωση και η σχετικότητα των στοιχείων με τον εαυτό σχετίζονταν με το χρόνο απόκρισης και μετρήσεις οφθαλμοκινήσεων υποδεικνύοντας επίδραση στο στάδιο κατανόησης της διαδικασίας απόκρισης. Ο νευρωτισμός σχετιζόταν με διαφορετικές απαντήσεις υποδηλώνοντας επιρροή στα μεταγενέστερα στάδια της διαδικασίας απόκρισης (ανάκτηση πληροφοριών, κρίση, επιλογή απάντησης). Συμπεράσματα. Οι δύο μελέτες επιβεβαιώνουν την ύπαρξη επιδράσεων λεκτικής διατύπωσης σε εννοιολογικά διακριτές περιοχές και συμβάλλουν στην κατανόηση των τάσεων απόκρισης και του τρόπου με τον οποίο χαρακτηριστικά των στοιχείων και των ατόμων επηρεάζουν τη διαδικασία απόκρισης. Νέες μεθοδολογικές και αναλυτικές προσεγγίσεις έχουν εφαρμοστεί για τη διερεύνηση των επιδράσεων διατύπωσης και της επιρροής τους στην εγκυρότητα και αξιοπιστία των αποκρίσεων. Σε κλινικό επίπεδο είναι σημαντικό να λαμβάνεται υπόψη ότι οι μεροληπτικές πεποιθήσεις των ατόμων, συνυφασμένες με τα χαρακτηριστικά τους, μπορούν να αποτυπωθούν στις απαντήσεις τους, χωρίς απαραίτητα να αντανακλούν το πραγματικό σκορ.

Questionnaires are widely used when testing research hypotheses empirically. However, their susceptibility to response sets threatens the validity and reliability of response data. To reduce acquiescence and careless responding questionnaires often include negatively worded items. Many empirical investigations have shown that negatively worded items differ in their psychometric properties from positively worded items, lead to differential responses and affect the factorial structure of the scales. Aims. The present dissertation consists of two studies aiming to untangle the nature of wording effects and to examine variables associated with their presence. Specifically, the first study utilizing three conceptually distinct attitudinal questionnaires aimed to identify: (a) the presence and magnitude of wording effects, (b) whether wording effects share common variance, and (c) similarities and differences of the nomological network of wording effects for scales that assess self-relevant or non-self-relevant attitudes. The second study, utilizing eye tracking, a novel approach in the area of wording effects, experimentally examined characteristics of the items (wording type, self-relevance) and characteristics of the respondents (neuroticism, verbal abilities, and mood) for their impact on the response process. Method and Results. The first study was based on a correlational design. A battery of questionnaires was administrated online to 463 university students. Latent variable modeling results supported the theoretical structure of the scales after controlling for the presence of wording effects. Wording effects of distinct scales shared common variance which was more prominent among the positively worded items. Extending prior findings, the nomological network of wording effects was found to differ for self-relevant than for non-self-relevant scales. Characteristics related to neuroticism were associated to wording effects in self-relevant scales only, while need for cognition affected wording effects in self-relevant and non-self-relevant scales. The second study was based on an experimental design. A sample of 104 university students completed a computerized version of the Rosenberg self-esteem scale (Rosenberg, 1965) and a questionnaire with items written in four different wording types (positive, negative, negated positive and negated negative); half of the items referred to attitudes toward the self and the other half to attitudes toward others. During completion of the questionnaire participants’ eye movements were recorded using the Gazepoint-GP3-HD desk-mounted eye tracker. In linear mixed effects models, wording type and self-relevance were found to relate to response time, time of viewing and revisits to the items, indicating that there was some influence at the comprehension stage of response process. Neuroticism was associated to differential item responses, but not with other eye-tracking measures, suggesting a role in later levels of response process, the retrieval, judgment and response selection stages. Conclusions. The two studies have confirmed the presence of wording effects in conceptually distinct areas and have extended our understanding of response tendencies with regards to self-relevance, wording type and person characteristics. Novel methodological and analytical approaches have been implemented to the examination of wording effects and their impact on scale score validity and reliability. In clinical practice it is important to consider that characteristics of the respondents may lead to trait-congruent, biased responses.