Badania UX

Badania UX i testy użyteczności interfejsów

Testujemy aplikacje, serwisy i formularze na rzeczywistym zadaniu. W jednej sesji rejestrujemy ścieżkę wzroku, mimikę i aktywność EEG, a zaraz po zadaniu przeprowadzamy wywiad. Zestawienie zapisu z przebiegu zadania i wypowiedzi uczestnika wskazuje kroki procesu, które wymagają dalszej analizy.

  1. Wzrokgdzie i w jakiej kolejności
  2. Mimikaz jaką reakcją
  3. EEGprzy jakim obciążeniu
  4. Wywiadi co powie o tym potem
Co mierzymy

Cztery metody pomiarowe w jednej sesji

Każda z nich odpowiada na inne pytanie i każda ma granicę, poza którą jej wynik przestaje być rozstrzygający. Dlatego rejestrujemy je równocześnie, a przy każdej opisujemy, czego z niej samej nie da się wywnioskować.

Ścieżka wzroku

Które elementy ekranu zebrały fiksacje, w jakiej kolejności i po jakim czasie od wyświetlenia. Widać z tego, co użytkownik mija bez zatrzymania wzroku, gdzie wraca po potwierdzenie i które pola sprawdza wzrokiem, zanim ich dotknie.

Fiksacja nie znaczy zrozumienie. Wzrok może stać na komunikacie, którego użytkownik nie przyswoił, i to widać dopiero w zestawieniu z pozostałymi metodami.

Mimika

Znak i natężenie reakcji w czasie, liczone z zapisu twarzy klasyfikatorem mimiki. Daje znacznik czasu dla momentów, w których wyraz twarzy wyraźnie się zmienia, także tych, których uczestnik po zadaniu nie potrafi wskazać.

Klasyfikator opisuje ruchy mięśni twarzy, a nie emocję, i nie mówi, co reakcję wywołało. Interpretację opieramy dopiero na nagraniu ekranu z tej samej sekundy i na pytaniu zadanym po zadaniu.

EEG

Wskaźniki wyprowadzane z sygnału EEG w kolejnych krokach zadania, liczone metodą ustaloną przed pomiarem. Służą do porównania etapów procesu między sobą: który z nich wiąże się z wyższym obciążeniem i gdzie przebieg wskaźnika wyraźnie się zmienia.

Sygnał nie jest bezpośrednim odczytem koncentracji ani zrozumienia, a jego wartość zależy od przyjętego modelu analizy. Nie wskazuje też pola ani przycisku, więc bez okulografii nie da się przypisać obciążenia do elementu interfejsu.

Wywiad pogłębiony

Rozmowa zaraz po zadaniu, przy świeżej pamięci, prowadzona wokół konkretnych momentów z nagrania. Stąd biorą się powody rezygnacji, oczekiwania wobec procesu i lista rzeczy, których w interfejsie zabrakło.

To dane deklaratywne, zależne od pamięci uczestnika i od sposobu zadania pytania. Uczestnik potrafi ocenić formularz jako prosty i w tej samej rozmowie opisać krok, przy którym pozostałe kanały zarejestrowały wyraźną zmianę.

Sedno metody

Rozbieżność jest wynikiem, nie błędem pomiaru.

Moment oczekiwania na załadowanie ekranu rzadko pojawia się w wypowiedzi uczestnika. Nie pamięta go albo tłumaczy własnym łączem. W zapisie jest widoczny od razu: wzrok przestaje przeszukiwać ekran, a wskaźniki z pozostałych kanałów wyraźnie zmieniają przebieg. Jest to więc zdarzenie o konkretnym znaczniku czasu, które da się pokazać zespołowi rozwijającemu produkt.

oczekiwanie na ekranwzrok, fiksacjemimika, walencjaEEG, koncentracja0 s30 s60 swywiad po zadaniu:„chyba mi zaciął się internet”
Ten sam fragment sesji w trzech torach. Zaznaczony moment to oczekiwanie na ekran, którego użytkownik po zadaniu nie zgłosił jako problemu interfejsu.
Komplementarność

Na jakie pytanie odpowiada która metoda.

Zestawienie czytamy wierszami. Większość pytań ma jedną naturalną metodę, ale ostatni wiersz nie ma jej wcale, bo zgodności deklaracji z zachowaniem nie da się sprawdzić żadną metodą osobno.

Które metody odpowiadają na które pytanie badawcze
Pytanie zamawiającegoWzrokMimikaEEGWywiad
Czy element zebrał fiksacje?Wzrok: odpowiadaMimika: nie odpowiadaEEG: nie odpowiadaWywiad: nie odpowiada
W jakiej kolejności użytkownik czytał ekran?Wzrok: odpowiadaMimika: nie odpowiadaEEG: nie odpowiadaWywiad: nie odpowiada
Co zostało pominięte bez czytania?Wzrok: odpowiadaMimika: nie odpowiadaEEG: nie odpowiadaWywiad: nie odpowiada
W którym kroku zmienia się przebieg sygnałów?Wzrok: nie odpowiadaMimika: odpowiadaEEG: odpowiadaWywiad: nie odpowiada
Jaki znak miała reakcja na komunikat?Wzrok: nie odpowiadaMimika: odpowiadaEEG: nie odpowiadaWywiad: nie odpowiada
Który krok wiąże się z wyższym obciążeniem?Wzrok: nie odpowiadaMimika: nie odpowiadaEEG: odpowiadaWywiad: nie odpowiada
Dlaczego użytkownik wrócił na początek?Wzrok: nie odpowiadaMimika: nie odpowiadaEEG: nie odpowiadaWywiad: odpowiada
Czego w interfejsie zabrakło?Wzrok: nie odpowiadaMimika: nie odpowiadaEEG: nie odpowiadaWywiad: odpowiada
Czy deklaracja zgadza się z zachowaniem?Wzrok: odpowiadaMimika: odpowiadaEEG: odpowiadaWywiad: odpowiada
Jak to wygląda

Przebieg badania

  1. 01

    Zadanie o ustalonych parametrach

    Uczestnik dostaje jedno konkretne zadanie z ustalonymi parametrami, a pozostałe decyzje podejmuje samodzielnie. Scenariusz przesądza, na co badanie odpowie, więc powstaje wspólnie z zamawiającym przed pierwszą sesją.

  2. 02

    Rekrutacja według kompetencji i doświadczenia

    Kryterium rekrutacji obejmuje doświadczenie z danym typem procesu, nie tylko cechy metryczkowe. Do testu procesu wnioskowego zapraszamy osoby, które korzystały z niego niedawno: sesja z osobą widzącą taki formularz pierwszy raz opisuje naukę obsługi.

  3. 03

    Sesja z czterema metodami naraz

    Aplikacja działa w swojej właściwej postaci, na telefonie albo na ekranie, bez makiet i bez pośrednictwa moderatora. Okulograf, kamera i EEG pracują równolegle, zsynchronizowane co do sekundy, więc każdy sygnał da się przypisać do ekranu widocznego w tym momencie.

  4. 04

    Wywiad zaraz po zadaniu

    Rozmowa prowadzona jest wokół konkretnych momentów z nagrania. Dzięki temu wypowiedź uczestnika trafia na tę samą oś czasu co pomiar i da się wskazać miejsca, w których jedno różni się od drugiego.

  5. 05

    Analiza ekran po ekranie

    Każdy ekran procesu dostaje mapę fiksacji, ścieżkę wzroku, wycinek sygnałów z zaznaczonym momentem i wypowiedzi uczestników. Pod spodem stoi wniosek, a obok niego rekomendacja opisana tak, żeby dała się przenieść do listy zadań zespołu.

Zakres opracowania

Co dostaje zamawiający

Raport w formie pozwalającej przenieść wnioski do listy zadań zespołu, a także dane surowe do własnych analiz po stronie zamawiającego.

Materiał z sesji

  • Mapy fiksacji dla każdego ekranu procesu
  • Ścieżki wzroku z numeracją fiksacji
  • Nagrania sesji zsynchronizowane z sygnałami
  • Wycinki sygnałów z zaznaczonymi momentami

Wnioski

  • Topline z głównymi wnioskami na jednej stronie
  • Wniosek i rekomendacja parami, jeden do jednego
  • Lista braków zgłoszonych przez użytkowników
  • Ocena całego procesu, nie tylko pojedynczych ekranów

Dane

  • Statystyki AOI: fiksacje, czas, TTFF
  • Wskaźniki z analizy mimiki i z EEG w osi czasu zadania
  • Transkrypcje wywiadów z odniesieniem do nagrań
  • Eksport surowych danych, CSV i format iMotions