Język ucieleśniony to wyrażenia oparte na doświadczeniu ciała: ruchu, sile, ciężarze i przestrzeni. W dyskursie o sztuce jest on przy tym wszechobecny. Kompozycja „prowadzi wzrok”, kolor „jest ciężki”, a obraz „przyciąga” lub „odpycha”. Czy taki opis jedynie relacjonuje odbiór dzieła? A może przeciwnie, aktywnie go kształtuje? Eyetracking pozwala sprawdzić, czy język ucieleśniony rzeczywiście steruje uwagą wzrokową odbiorcy.

To pytanie łączy dwie dojrzałe linie badań. Pierwsza z nich dokumentuje wpływ informacji werbalnej na odbiór dzieł oraz zachowanie okoruchowe. Druga natomiast opisuje neuronalne korelaty przetwarzania metafor. Dotąd jednak żaden eksperyment nie połączył obu poziomów. Dlatego poniżej znajduje się najpierw krótki przegląd obu linii. Następnie prezentujemy projekt badania, które integruje eyetracking z neuroobrazowaniem fNIRS.

Kontekst werbalny zmienia odbiór dzieła

Wpływ opisu na percepcję sztuki ma solidne podstawy empiryczne. Przykładowo Leder, Carbon i Ripsas (2006) porównali tytuły opisowe z elaboracyjnymi, czyli podsuwającymi interpretację. W rezultacie tytuły elaboracyjne zwiększały deklarowane rozumienie malarstwa abstrakcyjnego. Co istotne, efekt zależał od czasu ekspozycji tytułu. Przy krótkich prezentacjach przewagę zyskiwały tytuły opisowe. Z kolei dłuższy czas przetwarzania sprzyjał kondycji elaboracyjnej.

Millis (2001) opisał ponadto efekt elaboracji dla ocen estetycznych. Tytuł podnosi ocenę wtedy, gdy pomaga zbudować spójną reprezentację znaczeniową dzieła. Dodatkowo Belke, Leder, Strobach i Carbon (2010) osadzili te wyniki w teorii płynności przetwarzania. W ich badaniu tytuły semantycznie powiązane z dziełem podnosiły ocenę względem tytułów niepowiązanych oraz ich braku.

Najważniejsze dla nas jest jednak badanie Kapouli i współpracowników (2009). Autorzy wykazali bowiem, że sama treść tytułu zmienia parametry eksploracji wzrokowej kubistycznych obrazów Legera. Innymi słowy, eyetracking ujawnił, że język ucieleśniony i inne formy kontekstu werbalnego działają na poziomie behawioralnym, nie tylko deklaratywnym. Oprócz tego Mullennix i Robinet (2018) pokazali moderującą rolę ekspertyzy odbiorcy. Nowicjusze i eksperci przetwarzali zatem tytułowane dzieła w odmienny sposób.

Wniosek jest więc jasny. Manipulacja kontekstem werbalnym daje replikowalne efekty w ocenach oraz mierzalne zmiany okoruchowe. Otwarta pozostaje natomiast rola samej formy językowej opisu, zwłaszcza jego metaforyczności.

Język ucieleśniony aktywuje domeny źródłowe w mózgu

Zgodnie z teorią metafory konceptualnej (Lakoff, Johnson, 1980) pojęcia abstrakcyjne rozumiemy przez konkretne domeny źródłowe. Modele symulacji ucieleśnionej (Barsalou, 2008; Gallese, Lakoff, 2005) precyzują przy tym mechanizm. Rozumienie pojęcia uruchamia mianowicie częściową reaktywację systemów sensomotorycznych. Dane neuroobrazowe wspierają ten pogląd w kilku punktach:

  • Hauk, Johnsrude i Pulvermüller (2004) badali bierne czytanie czasowników akcji. Słowa związane z twarzą, ręką i nogą wywoływały wówczas somatotopową aktywację kory ruchowej i przedruchowej.
  • Lacey, Stilla i Sathian (2012) testowali z kolei metafory teksturalne, na przykład „a rough day”. Takie zdania aktywowały korę somatosensoryczną. Natomiast dosłowne parafrazy o tym samym znaczeniu nie dawały tego efektu.
  • Citron i Goldberg (2014) porównali wreszcie metafory smakowe z odpowiednikami dosłownymi. W efekcie zdania metaforyczne silniej angażowały obszary smakowe oraz struktury limbiczne.

Efekt aktywacji domeny źródłowej jest więc dobrze udokumentowany dla słów i zdań. Otwarte pozostaje jednak pytanie, czy język ucieleśniony działa podobnie, gdy poprzedza percepcję złożonego bodźca wizualnego. Co więcej, nie wiadomo, czy eyetracking wykryje wtedy zmiany w przestrzennej alokacji uwagi, których taki język ucieleśniony miałby dokonywać na samym dziele.

Luka badawcza

Brakuje zatem badania, które zweryfikuje pełny łańcuch zależności w jednym paradygmacie. Chodzi mianowicie o sekwencję: metaforyczny opis dzieła, alokacja uwagi wzrokowej, aktywacja domen źródłowych, wreszcie ocena i produkcja językowa odbiorcy. Dotychczasowe prace dokumentują wprawdzie pojedyncze ogniwa. Żadna jednak nie testuje ich konwergencji.

Język ucieleśniony i eyetracking: projekt eksperymentu z fNIRS

Projektowane badanie odpowiada właśnie na tę lukę. Eksperyment sprawdzi, czy język ucieleśniony zmienia wskaźniki, które rejestruje eyetracking podczas oglądania dzieł. Badanie przyjmuje schemat międzygrupowy (N = 50-60 dorosłych bez wykształcenia artystycznego). Zmienną niezależną stanowi przy tym rejestr opisu poprzedzającego prezentację dzieła. Grupa eksperymentalna otrzyma zatem opis ekspercki, nasycony metaforami ruchu, siły, ciężaru i przestrzeni. Grupa kontrolna dostanie natomiast opis potoczny, równoważny informacyjnie i pozbawiony metafor. Trafność manipulacji zweryfikuje wcześniej pilotaż z sędziami kompetentnymi. Materiał badawczy obejmie ponadto 6-8 dzieł nieznanych uczestnikom.

Rejestrowane wskaźniki

  • Okoruchowe: czas i liczba fiksacji, czas do pierwszej fiksacji (TTFF), amplituda sakkad oraz dwell time w obszarach AOI definiowanych treścią metafor.
  • Hemodynamiczne (fNIRS): zmiany stężenia oksyhemoglobiny w korze ruchowej i FEF (metafory ruchu), korze somatosensorycznej (metafory ciężaru) oraz przyśrodkowych okolicach czołowych (metafory siły). Wybór fNIRS wynika przede wszystkim z tolerancji ruchu i naturalnych warunków ekspozycji, niedostępnych w fMRI.
  • Elektrofizjologiczne (opcjonalnie, EEG): komponenty N400 i LPC jako wskaźniki przetwarzania metaforycznego.
  • Deklaratywne: dyferencjały semantyczne 1-7 oraz analiza treści swobodnych opisów z kodowaniem metafor ucieleśnionych.

Pomiar kapitału kulturowego

Plan badania uwzględnia dodatkowo kapitał kulturowy odbiorcy jako zmienną moderującą. Wskaźnik obejmuje doświadczenie ze sztuką, praktyki muzealne oraz wykształcenie. Analiza przewiduje następnie interakcję warunku z kapitałem kulturowym. Podejście to nawiązuje tym samym do wyników Mullennixa i Robineta (2018) oraz do socjolingwistycznej hipotezy zróżnicowanej podatności na rejestr ekspercki. Plan analiz zakłada również modele mieszane z dziełem jako czynnikiem losowym.

Przewidywania

Literatura pozwala sformułować pięć przewidywań. Po pierwsze, opis metaforyczny wydłuży fiksacje oraz skróci TTFF w obszarach wskazanych metaforami. Kolejne przewidywanie dotyczy aktywacji domen źródłowych specyficznej dla typu metafory. Trzecim efektem będą przesunięcia ocen zgodne kierunkowo z użytymi metaforami. Hipoteza czwarta zakłada ponadto częstsze przejmowanie metafor w opisach swobodnych. Ostatnie przewidywanie obejmuje wreszcie moderację efektów przez kapitał kulturowy, przy czym jej kierunek pozostaje kwestią eksploracyjną.

Dlaczego to ważne

Wynik pozytywny pokaże, że język ucieleśniony pełni funkcję przyczynową wobec percepcji, a eyetracking pozwala tę funkcję precyzyjnie mierzyć. Relatywizm językowy działałby wtedy również wewnątrz jednego języka, na poziomie rejestru. Ma to ponadto bezpośrednie implikacje aplikacyjne. Etykiety, audioprzewodniki i katalogi wystaw stają się bowiem decyzjami projektowymi o mierzalnych konsekwencjach percepcyjnych. Podobne zależności między opisem a percepcją badamy zresztą także poza sztuką, na przykład w reakcjach na środowisko zbudowane.

Zespoły zainteresowane współpracą badawczą w tym paradygmacie zapraszamy więc do kontaktu. Oferujemy między innymi dostęp do infrastruktury eyetrackingowej i fNIRS oraz konsultacje metodologiczne, w tym dobór sprzętu do badań.

Literatura

  • Barsalou, L. W. (2008). Grounded cognition. Annual Review of Psychology, 59, 617-645.
  • Belke, B., Leder, H., Strobach, T., Carbon, C. C. (2010). Cognitive fluency: High-level processing dynamics in art appreciation. Psychology of Aesthetics, Creativity, and the Arts, 4(4), 214-222.
  • Citron, F. M. M., Goldberg, A. E. (2014). Metaphorical sentences are more emotionally engaging than their literal counterparts. Journal of Cognitive Neuroscience, 26(11), 2585-2595.
  • Gallese, V., Lakoff, G. (2005). The brain’s concepts: The role of the sensory-motor system in conceptual knowledge. Cognitive Neuropsychology, 22(3-4), 455-479.
  • Hauk, O., Johnsrude, I., Pulvermüller, F. (2004). Somatotopic representation of action words in human motor and premotor cortex. Neuron, 41(2), 301-307.
  • Kapoula, Z., Daunys, G., Herbez, O., Yang, Q. (2009). Effect of title on eye-movement exploration of cubist paintings by Fernand Leger. Perception, 38(4), 479-491.
  • Lacey, S., Stilla, R., Sathian, K. (2012). Metaphorically feeling: Comprehending textural metaphors activates somatosensory cortex. Brain and Language, 120(3), 416-421.
  • Lakoff, G., Johnson, M. (1980). Metaphors We Live By. University of Chicago Press.
  • Leder, H., Carbon, C. C., Ripsas, A. L. (2006). Entitling art: Influence of title information on understanding and appreciation of paintings. Acta Psychologica, 121(2), 176-198.
  • Millis, K. (2001). Making meaning brings pleasure: The influence of titles on aesthetic experiences. Emotion, 1(3), 320-329.
  • Mullennix, J. W., Robinet, J. (2018). Art expertise and the processing of titled abstract art. Perception, 47(4), 359-378.