Zapewnienie wysokiej jakości danych stanowi jeden z największych wyzwań w badaniach ankietowych online. Badacze powszechnie stosują tak zwane pytania pułapki w ankietach (ang. Instructional Manipulation Checks – IMC), aby wykrywać respondentów, którzy nie czytają instrukcji i wypełniają kwestionariusze bez należytej uwagi. Zwykle zakłada się, że oblanie takiego testu automatycznie oznacza dekoncentrację i kwalifikuje odpowiedź do usunięcia z bazy danych. Czy jednak usunięcie takich osób na pewno jest słuszne? Zespół naukowców przeprowadził eksperyment z użyciem okulografii, aby bezpośrednio zbadać procesy poznawcze towarzyszące odpowiadaniu na pytania pułapki w ankietach.

Czym są pytania pułapki w ankietach (IMC)?

Pytania pułapki w ankietach to specjalnie skonstruowane pytania wbudowane w kwestionariusz, które przypominają formatem pozostałe pozycje, ale zawierają wyraźną instrukcję nakazującą wykonanie konkretnej czynności lub zignorowanie pytania. W praktyce stosuje się dwa główne warianty takich sprawdzianów:

  • Krótkie pytania pułapki: Pojedyncze, proste zdanie wplecione w baterię pytań (np. „Prosimy o niezaznaczanie tej odpowiedzi. Służy ona do weryfikacji Twojej uwagi”).
  • Długie pytania pułapki: Rozbudowany akapit tekstu opisowego, na którego końcu znajduje się polecenie ignorowania poniższych opcji wyboru i przejścia bezpośrednio do kolejnego kroku.

Osoba czytająca ze zrozumieniem powinna zastosować się do instrukcji, podczas gdy respondent wypełniający ankietę bezmyślnie (np. zaznaczający odpowiedzi losowo lub po omacku) zaznaczy dowolną opcję i obleje test.

Problem z oceną uwagi respondentów

Usunięcie z badania wszystkich osób, które oblały pytania pułapki w ankietach, może prowadzić do poważnych błędów i zniekształcenia próby. Dotychczasowe analizy wykazywały jedynie słabe korelacje między oblaniem testu IMC a innymi wskaźnikami braku uwagi, takimi jak zbyt szybkie wypełnianie ankiety (speeding) czy zaznaczanie tej samej opcji we wszystkich pytaniach (straight-lining). Ponadto zauważono, że pytania pułapki częściej oblewają osoby o niższym wykształceniu. Sugeruje to, że przyczyną niepowodzenia nie zawsze musi być brak chęci czy dekoncentracja. Również trudność tekstu i brak zrozumienia skomplikowanej instrukcji powodują ten problem.

Przebieg badania

Naukowcy zrealizowali badanie laboratoryjne z wykorzystaniem okulografu stacjonarnego Tobii TX-300 rejestrującego ruch oczu z częstotliwością 300 Hz. Po odrzuceniu nagrań o niskiej jakości sygnału, szczegółowej analizie poddano dane od 21 uczestników (posiadających wykształcenie wyższe), którzy wypełniali ankietę internetową zawierającą zarówno krótkie, jak i długie pytania pułapki w ankietach.

Do oceny głębokości przetwarzania informacji użyto dwóch kluczowych wskaźników biometrycznych:

  • Całkowitego czasu fiksacji wzroku (Sumanaryczny czas skupienia wzroku na obszarze instrukcji).
  • Średniego czasu trwania fiksacji (Wskaźnik obciążenia poznawczego i wysiłku wkładanego w zrozumienie tekstu).

Dodatkowo, po zakończeniu badania uczestnicy oglądali nagrania ruchu własnych oczu i komentowali swoje myśli towarzyszące analizie pytań.

Co naprawdę zdradza wzrok badanych?

Wyniki eksperymentu podważyły dotychczasowe założenie, że oblanie pytania pułapki wynika wyłącznie z ignorowania tekstu:

  • Krótkie pytania pułapki: Wszyscy 21 badani (100%) bez problemu zaliczyli krótki test uwagi, przeznaczając na niego średnio około 2 sekundy.
  • Długie pytania pułapki: Długą instrukcję oblało 6 z 21 respondentów (28,57%).
  • Analiza biometryczna fiksacji: Całkowity czas patrzenia na tekst u osób, które oblały test, nie różnił się znacząco od czasu osób, które go zaliczyły (23,39 s vs 21,54 s). Jednak średni czas trwania pojedynczej fiksacji był istotnie wyższy u osób, które popełniły błąd (277 ms vs 225,93 ms, $p < 0{,}05$).

Analiza map wzroku (gaze plots) oraz wypowiedzi badanych ujawniła, że spośród 6 osób, które oblały długie pytania pułapki w ankietach:

  • 4 osoby oblały z powodu braku zrozumienia tekstu (miscomprehension): Przeczytały one całą instrukcję bardzo uważnie, poświęcając na nią mnóstwo czasu i wysiłku poznawczego, ale zinterpretowały jej treść błędnie.
  • 2 osoby oblały z powodu braku uwagi (inattention): Zignorowały początek tekstu, po prostu przeskakując wzrokiem po opcjach wyboru i wypełniając pytanie w pośpiechu.

Jak prawidłowo stosować pytania pułapki?

Otrzymane dowody empiryczne prowadzą do bardzo ważnych wniosków dla badaczy rynku i socjologów. Instrukcje w sprawdzianach uwagi powinny być maksymalnie krótkie, zwięzłe i proste. Tworzenie skomplikowanych, długich bloków tekstowych sprawia, że eliminuje się z badania wartościowych respondentów, którzy czytają ankietę z pełnym zaangażowaniem, lecz gubią się w zawikłanej składni.

Aby uniknąć zniekształcenia próby badawczej, warto analizować nie tylko sam wynik testu (zaliczone/oblane), ale również czas spędzony na pytaniu:

  • Długi czas + oblanie testu: Świadczy o braku zrozumienia instrukcji przy jednoczesnym dużym zaangażowaniu.
  • Bardzo krótki czas + oblanie testu: Świadczy o braku uwagi, pośpiechu i pobieżnym skanowaniu tekstu.

Eliminowanie z bazy danych każdego respondenta, który oblał pytanie pułapkę, może wprowadzać poważny błąd próby. Długie instrukcje sprawdzające uwagę sprawiają, że zaangażowani badani oblewają test z powodu niezrozumienia skomplikowanego tekstu, a nie z braku uwagi.

Bibliografia

Babakhani, N., Paas, L., & Dolnicar, S. (2023). Do instructional manipulation checks measure inattention or miscomprehension? International Journal of Social Research Methodology, 26(6), 773–784. https://doi.org/10.1080/13645579.2022.2111064