Czy da się przewidywać emocje użytkownika tylko na podstawie jego ruchów myszką i klawiaturą, bez kamer lub czujników fizjologicznych?

Coraz więcej spraw możemy załatwiać przez internet. Zakupy, planowanie wakacji, sprawy urzędowe. Z tego powodu ocena doświadczeń użytkownika (User Experience, UX) zyskuje na znaczeniu. User Experience czyli ogół doświadczeń, odczuć i emocji użytkownika związanych z korzystaniem z produktu, systemu lub aplikacji. Obejmuje między innymi łatwość obsługi, użyteczność, komfort oraz satysfakcję użytkownika podczas i po interakcji z danym rozwiązaniem.

By uzyskać najbardziej prawdziwe dane, z realnego użytkowania należałoby sprawdzać użytkowników w swoich domach, podczas codziennych czynności. W warunkach domowych za pomocą kamerki może być to jednak problematyczne ze względu na jej słabą jakość i oświetlenie. 

Wykrywanie emocji jednak wiąże się z użyciem specjalistycznego sprzętu lub wizytą w laboratorium. Natomiast gromadzenie danych za pomocą klawiatury, myszki i ekranu dotykowego (KMT – keystroke, mouse and touchscreen) może być realizowane w łatwy sposób jako dodatkowe źródło danych.

Aby opracować algorytmy wykrywające emocje wyłącznie na podstawie danych KMT, konieczne jest najpierw stworzenie zbioru danych który zawiera zarówno dane dotyczące interakcji KMT, jak i dane emocjonalne.  W tym celu powstało badanie podczas którego rejestrowano interakcje użytkowników z interfejsem oraz ich emocje. Po połączeniu danych powstał data set zawierający informacje o zachowaniach z KMT wraz z odpowiadającymi im informacjami o emocjach.

Terminologia

Każda integracja użytkownika z np klawiaturą należy do jakiegoś typu i występuje w określonym czasie. Wyróżniamy 3 typy zdarzeń:

  1.  Zdarzenia interfejsu użytkownika wyższego poziomu: to zdarzenia opisujące działania użytkownika związane z elementami interfejsu, a nie pojedynczymi ruchami myszy czy naciśnięciami klawiszy. Informują one o zmianach stanu elementów aplikacji, takich jak aktywowanie pola formularza, opuszczenie go lub zmiana jego zawartości. Dzięki nim można określić, z którymi elementami interfejsu użytkownik wchodził w interakcję oraz jakie działania wykonywał podczas korzystania z aplikacji.
  2. Zdarzenia klawiatury:
  • Naciśnięcie danego klawisza
  • Zwolnienie danego klawisza
  1. Zdarzenia myszy (wszystkie zdarzenia myszy zawierają również informację o położeniu kursora):
  • naciśnięcie przycisku myszy (+ informacja który przycisk)
  • zwolnienie przycisku myszy
  • pojedyncze kliknięcie
  • podwójne kliknięcie
  • przewijanie (zawiera liczbę jednostek, o które przewinięto element interfejsu w danym kierunku)
  • ruch myszy (za każdym razem, gdy mysz jest przesuwana, generowanych jest wiele zdarzeń ruchu myszy, po jednym dla każdej wykrytej pośredniej pozycji kursora)

Sposoby wykrywania emocji:

Automatyczne kodowanie mimiki twarzy (automatic facial coding, AFC) – metoda automatycznej analizy wyrazu twarzy z wykorzystaniem algorytmów komputerowych, która umożliwia rozpoznawanie i ocenę emocji użytkownika na podstawie jego mimiki. Większość z nich została wytrenowana na podstawie ekspresji odgrywanych przez aktorów. Nie zawsze jednak rozpoznaje skutecznie (głównie problem występuje przy emocjach negatywnych i subtelnych).

Dyferencjał semantyczny (semantic differential, SD) – narzędzie ankietowe służące do oceny emocji i odczuć użytkownika, w którym badana osoba określa swoje odczucia na skali pomiędzy przeciwstawnymi parami przymiotników.

Obecne luki badawcze:

  • Koncentracja na tylko jednej z metod pomiaru.
  • Brak punktu odniesienia dla zarejestrowanych danych KMT (brak zweryfikowanych, ciągłych danych emocjonalnych).
  • Brak indukcji zróżnicowanych emocji

Wcześniejsze badania wykazały, że uczestnicy wykazywali tendencję do wolniejszego pisania na skutek negatywnych emocji oraz analogicznie, szybszego pisania podczas pozytywnych emocji. Kursor myszy natomiast, przy negatywnych emocjach, zwiększa pokonywany dystans oraz zmniejsza prędkość ruchu.

Tworzenie zbioru danych

Źródła danych:

  • Dane z kwestionariuszy – do oceny emocji
  • Ekspresje mimiczne twarzy – do oceny emocji
  • Interakcje użytkowników z klawiaturą
  • Interakcje użytkowników z myszą

Aplikacja tekstowa rejestrowała naciśnięcia klawiszy, ruchy myszy oraz dodatkowe dane z czujników. Uczestnicy nie wiedzieli o analizie emocji (by nie wpłynąć na wyniki badania). Zostali poinformowani, że wezmą udział w teście użyteczności formularza. Z badania wykluczone zostały osoby z wykształceniem na przykład psychologicznym ze względu na możliwe wpływanie na wyniki.

By ujednolicić stan emocjonalny uczestników przed badaniem pokazano jednominutowy fragment filmu „Duma i uprzedzenie”.

Aplikacja testowa zawierała siedem stron. Na trzeciej, piątej i siódmej umieszczono bodźce mające na celu wywołać stany emocjonalne. Były to okna aplikacji pokazujące, że coś jest nie tak. Wcześniej zostały one sprawdzone pod kątem wywoływania zamierzonego efektu. W badaniu podzielono uczestników na dwie grupy. Jedna z nich korzystała z aplikacji zawierającej trzy negatywne bodźce emocjonalne a druga nie. Dzięki temu podziałowi zaobserwować można było ewentualne problemy niezwiązane z celowymi bodźcami oraz przeciętny poziom emocji.

 

 

 

Badacze samodzielnie analizowali nagrania z przebiegu testów i przypisywali uczestnikom emocje w określonych momentach czasu, zamiast polegać wyłącznie na automatycznym rozpoznawaniu emocji przez oprogramowanie. Zdecydowali się na ręczne oznaczanie emocji ponieważ wykrywanie emocji na podstawie mimiki twarzy nie zawsze było wiarygodne. Algorytm miał trudności z interpretacją subtelnych wyrazów twarzy, nie uwzględniał kontekstu sytuacji przez co czasami błędnie klasyfikował emocje (np interpretacja uśmiechu wynikającego z frustracji jako radość). 

Trzech niezależnie oceniających badaczy analizowało każdą sesję, a następnie każdy przypisywał uczestnikowi określone emocje oraz ich intensywność (33%, 66% lub 100%). Po tym wyniki były porównywane, a do ostatecznego zbioru danych trafiały tylko te oznaczenia, co do których zgadzała się większość oceniających.

Ostatecznie powstał zbiór danych zawierający informacje o interakcjach z klawiaturą i myszą, danymi emocjonalnymi (pochodzącymi z modułu analizy mimiki twarzy programu iMotions oraz samodzielnej klasyfikacji emocji). Dzięki temu zbiorowi możliwe jest prowadzenie dalszych badań nad zależnościami pomiędzy interakcjami użytkowników a ich emocjami. 

Zbiór danych można pobrać pod adresem:

https://doi.org/10.5281/zenodo.7778612

Źródła

Dominick Leppich, Carina Bieber, Katrin Proschek, Patrick Harms* and Ulf Schubert DUX: a dataset of user interactions and user emotions 2023