Robotyczna automatyzacja procesów

Jednym z głównych problemów robotyzacji procesów jest analiza interfejsów użytkownika, które często zawierają dużą liczbę elementów i informacji. Podczas monitorowania działań użytkownika systemy generują obszerne logi oraz wykrywają wiele komponentów interfejsu, z których znaczna część jest nieistotna z punktu widzenia wykonywanego zadania. Nadmiar tego rodzaju danych utrudnia identyfikację istotnych cech procesu, zwiększa złożoność obliczeń i może obniżać skuteczność modeli służących do odkrywania reguł automatyzacji.

Definicje

Czym jest robotyczna automatyzacja procesów (robotic process automation, RPA)? To technologia pozwalająca tworzyć programy, które naśladują działania człowieka wykonującego powtarzalne zadania na komputerze. Stosuje się je np. w bankowości czy księgowości do usprawnienia procesów. Aby zidentyfikować czynności, które można zautomatyzować za pomocą RPA, wykorzystuje się przykładowo technikę task mining, natomiast do wskazania etapów najlepiej nadających się do automatyzacji można wykorzystać metodę robotic process mining.

Logi interfejsu użytkownika (User Interface Logs, UI logs) to zapis wszystkich działań użytkownika wykonywanych podczas pracy z aplikacją. 

Badanie

Aby stworzyć system, który odfiltrowuje nieistotne dla użytkownika elementy z ekranu badacze połączyli dwie technologie:

  1. Eye tracking – pozwala określić, na które części ekranu użytkownik faktycznie patrzy. Za pomocą fiksacji wzroku (miejsc, na których wzrok zatrzymał się na chwilę) oraz rozproszeń wzroku (informacji jak bardzo punkt spojrzenia był rozproszony wokół tego miejsca).
  2. Logi UI – przechowują informacje o działaniach użytkownika

Aby powiązać ze sobą współrzędne spojrzenia użytkownika oraz konkretne elementy interfejsu znajdujące się na ekranie powstał model obiektów ekranu (screen object model, SOM). Jest to struktura danych reprezentująca zawartość zrzutu ekranu. Opisuje wszystkie wykryte komponenty interfejsu użytkownika, takie jak elementy i ich grupy, w postaci hierarchicznego drzewa wraz z ich położeniem, typem i zawartością. SOM został zainspirowany modelem document object model, jednak jest prostszy, bo skupia się jedynie na statycznych i widocznych dla użytkownika elementach. 

Badacze proponują dwie metody filtrowania informacji istotnych dla procesu na podstawie danych dotyczących wzroku:

  1. Pre-filtering polega na odfiltrowaniu obszarów zrzutu ekranu, na które użytkownik nie patrzył, jeszcze przed wykrywaniem komponentów interfejsu. Na podstawie danych ze śledzenia wzroku tworzona jest maska pozostawiająca jedynie obszary uwagi, a następnie na tak przefiltrowanym obrazie wykrywane są elementy UI. 
  2. Post-filtering polega na wykryciu wszystkich komponentów UI na oryginalnym zrzucie ekranu, a następnie usunięciu tych, które nie pokrywają się z obszarem uwagi użytkownika. 

Aby przetestować skuteczność tych dwóch metod (pod kątem jednoczesnego zmniejszenia liczby cech oraz zachowania istotnych elementów interfejsu użytkownika) przeprowadzono eksperyment. Ocena obejmowała rzeczywiste zrzuty ekranu oraz sztucznie przygotowane, podzielone na 5 zestawów. Każdy z nich zawierał jeden lub dwa istotne elementy UI, konieczne do wykonania zadania, objęte wzrokiem użytkownika. Dla każdego zrzutu ekranu porównywano trzy warianty: bez filtrowania, pre-filtering oraz post-filtering. 

Oceniano:

  • liczbę wykrytych elementów interfejsu użytkownika
  • czas wykrywania komponentów UI
  • procent redukcji liczby elementów względem przypadku bez filtrowania
  • procent zachowanych istotnych elementów interfejsu

Uzyskane wyniki pokazały, że pre-filtering skuteczniej zmniejsza liczbę analizowanych elementów i skraca czas wykrywania komponentów, natomiast post-filtering lepiej zachowuje istotne elementy interfejsu, dzięki czemu zapewnia większą dokładność filtrowania. Obie metody potwierdziły możliwość ograniczenia liczby analizowanych danych przy jednoczesnym zachowaniu najważniejszych informacji potrzebnych do automatyzacji procesów RPA.

Źródła

Business Process Management: Blockchain, Robotic Process Automation and Educators Forum: BPM 2023 Blockchain, RPA and Educators Forum

What Are You Gazing At? An Approach to Use Eye-Tracking for Robotic Process Automation