Rekonstrukcja obrazu na podstawie aktywności kory wzrokowej (czyli nagraj sobie sen...)

Niedawno ukazała się nowa praca zespołu prof. Jacka Gallanta z University of California, który od pewnego czasu pracuje nad rekonstrukcją obrazów widzianych okiem osoby badanej, na podstawie aktywności jej mózgu. Publikacje tego typu za każdym razem wywołują falę sensacji w mediach, od których można usłyszeć, że naukowcy są coraz bliżej skonstruowania urządzenia mogącego nagrywać sny. O ile wcześniej takie śmiałe stwierdzenia padały głównie ze strony dziennikarzy, obecnie coraz częściej sami autorzy badań podejmują ten temat, przy okazji dyskusji wyników swoich eksperymentów.

Prowadzone w ostatnich latach badania nad próbą rekonstrukcji obrazu na podstawie aktywności ludzkiego mózgu ograniczały się głównie do porównywania wzorca aktywności kory, rejestrowanej za pomocą funkcjonalnego rezonansu magnetycznego (fMRI) u osoby spoglądającej na dany obrazek, z wcześniej predefiniowanymi wzorcami. Inaczej mówiąc, najpierw tworzono ograniczoną liczbowo bazę obrazków oraz odpowiadających im wzorców aktywności mózgu, a następnie porównywano aktywność mózgu osoby badanej z zawartością bazy danych i w ten sposób wybierano najbardziej prawdopodobny obraz, który w danym momencie ta osoba obserwuje.

Ostatnio głośno na ten temat było pod koniec 2008 roku, przy okazji opublikowania w czasopiśmie Neuron pracy autorstwa Miyawaki i in., w której badacze byli w stanie dokonać rekonstrukcji obrazu, bez stosowania zestawu znanych wcześniej obrazków. Swój eksperyment rozpoczęli od utworzenia matrycy o wymiarach 10x10 pól (fot. poniżej), w której każde pole mogło przybierać albo odcień szary (brak kontrastu) lub mogło zostać wypełnione czarno-białą szachownicą (obecność kontrastu).

Następnie naukowcy rejestrowali zmiany w aktywności pracy mózgu w odpowiedzi na różne kombinacje wypełnienia pól matrycy. Chociaż możliwych kombinacji było 2¹⁰⁰, badacze przeprowadzili jedynie pomiary dla 460 losowo wygenerowanych układów wypełnień, u każdej z dwóch badanych osób. Kolejnym krokiem było opracowanie komputerowego modelu rekonstrukcji obrazu w oparciu o zebrany sygnał. Efekt pracy badaczy przedstawia poniższe zdjęcie.

S1 - osoba badana nr 1, S2 - osoba badana nr 2
Na górze przedstawiony jest obraz pokazywany badanym osobom,
Kolejne rzędy pokazują kolejne próby rekonstrukcji obrazu
Ostatni rząd jest uśrednieniem kolejnych prób rekonstrukcji obrazu

Chociaż autorzy badań skupili się na rekonstrukcji obrazu w oparciu o informację dotyczącą kontrastu, uważają oni, że ich model można rozszerzyć w taki sposób, aby można było zastosować go także do rekonstrukcji innych cech obrazów, takich jak kolor, tekstura czy ruch. Sugerowali też, że interesującym zastosowaniem metod rekonstrukcji obrazów mogłyby być próby odtworzenia stanów subiektywnych, które powstają bez udziału zewnętrznej stymulacji sensorycznej, a więc wyobrażeń, halucynacji czy też snów.

Czy daleko nam zatem do zbudowania „Dream-Recordera”? Problem polega między innymi na tym, że dotychczasowe metody rekonstrukcji obrazu skupiały się na odtwarzaniu obrazów statycznych, a przecież sen jest jak film – jest obrazem dynamicznym. Poświęcenie uwagi naukowców w kierunku rekonstrukcji obrazów statycznych, a nie ruchomych, wynikało m.in. z uwagi na to, że stosowane w tych badaniach metody obrazowania mózgu, fMRI, posiadają zbyt słabą rozdzielczość czasową-przestrzenną. Dekodowanie informacji na podstawie aktywności mózgowej zależy od jakości pomiaru tej aktywności. Funkcjonalny rezonans magnetyczny w rzeczywistości nie mierzy aktywności neuronów, lecz dokonuje pomiaru zmian w przepływie krwi (zmian hemodynamicznych) wynikającej z aktywności komórek nerwowych. Chociaż wiele badań pokazuje, że pomiar zmian hemodynamicznych w mózgu jest skorelowany z aktywnością neuronalną, wiele informacji na temat tej aktywności jest traconych podczas pomiarów fMRI, gdyż zmiany hemodynamiczne zachodzą na przestrzeni sekund, są zatem wolniejsze niż zmiany jakie zachodzą w neuronach, w odpowiedzi na dynamiczny obraz. Wydawało się zatem, że dane z fMRI nie będą się nadawać do modelowania aktywności mózgu w odpowiedzi na tego typu bodźce.

Ten podstawowy problem rozwiązał właśnie zespół prof. Gallanta. Opracowali oni nowy, dwuetapowy model obliczeniowy, który oddzielnie charakteryzuje mechanizmy biorące udział w przetwarzaniu informacji o obrazie dynamicznym w neuronach kory wzrokowej a następnie modeluje zależności pomiędzy aktywnością neuronalną a zmianami hemodynamicznymi. Opracowanie modelu, który był w stanie "przetłumaczyć" film na aktywność mózgu było największym wyzwaniem naukowców. Wymagało to wielogodzinnego siedzenia w skanerze fMRI i oglądania wielu godzin filmów. W tym czasie komputer podzielił korę wzrokową badanego na tysiące małych punktów, tzw. wokseli (ang. voxel, volumetric element) i dla każdego z nich opracował model opisujący zależności pomiędzy zmianami aktywności mózgu w obrębie każdego woksela a informacją na temat kształtów, krawędzi czy ruchu w oglądanym klipie filmowym.

Poniższy film przedstawia efekty pracy naukowców z Berkeley. W górnym lewym rogu widać film, który w danym momencie był oglądany przez osobę badaną. W tym czasie rejestrowano aktywność jej kory wzrokowej. Opracowany algorytm dokonywał nastepnie rekonstrukcji obrazu na podstawie zarejestrowanej akytwności mózgu oraz biblioteki filmów składających się z około 18 milionów sekund filmów z popularnych serwisów internetowych, jak np. YouTube. Co ważne, film oglądany przez osobę badaną nie znajdował się w tej bibliotece. W skrócie, algorytm przetwarzał całą bibliotekę filmów i modelował pracę mózgu dla każdego z nich po czym wybierał 100 filmów, które wywołałyby - zgodnie z opracowanym modelem - najbardziej podobną aktywność mózgu do tej, jaką zarejestrowano z kory badanych . Następnie uśredniał je - czego wynik widzimy w lewej kolumnie (AHP) trzech dolnych rzędów (każdy rząd odpowiada poszczególnym badanym /S1, S2, S3/, pozostałe kolumny to najbardziej podobne klipy).

Tutaj kolejny filmik, na którym widzimy film pokazywany badanym (po lewej) i rekonstrukcja w oparciu o aktywność ich mózgu (po prawej):

Chociaż rekonstrukcja nie jest idealna, badacze udowodnili, że możliwe jest odtworzenie dynamicznych doświadczeń percepcyjnych za pomocą pomiarów zmian hemodynamicznych w mózgu. Otwiera to drogę do dalszych badań, których celem może być próba rekonstrukcji subiektywnych stanów mentalnych.

Neuronaukowcy zakładają, że wszystkie procesy umysłowe mają swoje podłoże neurobiologiczne. Zgodnie z tym założeniem, dopóki jesteśmy w posiadaniu dobrej jakości pomiarów aktywności mózgu oraz dobrych modelów obliczeniowych, powinniśmy być w stanie odszyfrować wizualną zawartość procesów umysłowych takich jak sny, przywoływanie wspomnień czy wyobraźnia. Należy jednak pamiętać, że modele obliczeniowe użyte w tym badaniu sprawdziły się w dekodowaniu aktywności mózgu w odpowiedzi na oglądane filmy. Do dziś nie wiadomo na pewno czy procesy śnienia przebiegają w mózgu w podobny sposób jak procesy percepcji wzrokowej. Jeżeli jednak tak, to - według autorów -  technikę opracowaną w ich badaniu będzie można w przyszłości zastosować w celu wizualnej rekonstrukcji marzeń sennych.


Oryginalne publikacje:

Nishimoto, S., Vu, A., Naselaris, T., Benjamini, Y., Yu, B., & Gallant, J. (2011). Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies Current Biology DOI: 10.1016/j.cub.2011.08.031

Miyawaki, Y., Uchida, H., Yamashita, O., Sato, M., Morito, Y., Tanabe, H., Sadato, N., & Kamitani, Y. (2008). Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders Neuron, 60 (5), 915-929 DOI: 10.1016/j.neuron.2008.11.004

Strona pracowni prof. Jacka Gallanta:
http://gallantlab.org/