Interfejs mózg-komputer, wykorzystanie technologii EEG do komunikacji z oprogramowaniem BIM

Do niedawna bezpośrednia komunikacja mózg-komputer była tematem znanym jedynie z powieści oraz filmów science fiction. Wraz z rozwojem technologii obrazowania funkcjonowania mózgu, aparatura umożliwiająca rejestrację fal mózgowych stała się wielokrotnie tańsza i zminiaturyzowana, a co za tym idzie dostępniejsza. Postanowiliśmy sprawdzić czy możliwe jest przygotowanie oprogramowania które prawidłowo rozpoznaje komendy mentalne architekta i interpretuje je jako funkcje programu.

W projekcie korzystamy z urządzenia firmy Emotiv- Epocx, 16 kanałowego elektroencefalografu o częstotliwości pomiaru 256 próbek na sekundę. Działanie urządzenia jest dość proste. Umieszczone na głowie mierzy napięcie elektryczne w 16 miejscach na skórze głowy. Dzięki porównaniu sygnałów w różnych częściach głowy, jest w stanie odczytać fale mózgowe. Urządzenie jest bezprzewodowe, lekkie, komunikuje się przy pomocy Bluetooth i posiada baterię pozwalającą na ciągłą pracę do 9h.

 

EEG

Interfejs mózg-komputer

Celem jaki postawiliśmy przed sobą była kontrola oprogramowania BIM (Autodesk Revit) przy wykorzystaniu urządzenia EEG. Jednak w jaki sposób możliwe jest jego osiągnięcie? Rozkładając problem na składniki pierwsze można opisać to w następujący sposób. Sygnał który zostaje nadesłany przez urządzenie, jest czyszczony oraz filtrowany w czasie rzeczywistym i zostaje zapisany jako 16 wykresów fal mózgowych. Nasz stan, zachowanie czy czynności wpływają na jego kształtowanie. W trakcie wykonywania powtarzanych czynności, wykres wygląda również podobnie, co umożliwia rozpoznanie danej aktywności człowieka.

 

Osoba z której pomocą testowaliśmy nasze rozwiązanie, powtarzała na ekranie monitora takie czynności jak zwiększanie liczbny kondygnacji, zmniejszanie, pozostawienie liczbny kondygnacji bez zmiany. W trakcie wykonywania operacji, aktywność mózgowa była monitorowana i odpowiednio przyporzadkowywana funkcjom. Następnie „nauczony program” (dokładnie model uczenia maszynowego), był w stanie rozpoznawać na podstawie fal mózgowych, jaką czynność architekt chciałby wykonać.

Sposób komunikacji

Po wytrenowaniu programu, który potrafi rozpoznać 3 czynności architekta, przygotowano fragment oprogramowania, który daną funkcję wywołuje wewnątrz programu Revit, odczytując liczbę kondygnacji i w zależności od przychodzącego polecenia, aktualizuje wysokość budynku dodając, odejmując lub pozostawiając liczbę kondygnacji bez zmian. Zaprojektowany system działał z wysoką skutecznością, pozwalając nawet do kilkunastu poleceń egzekwowanych po kolei bezbłędnie, natomiast czas reakcji oprogramowania był poniżej 1 sekundy.

 

Zaprojektowany system udowadnia, że możliwa jest kontrola z wykorzystaniem fal mózgowych oprogramowania do projektowania architektonicznego. Sam proces projektowy jest wysoce skomplikowany i niemożliwy do zapisania w postaci szeregu komend. Dlatego uznajemy projekt za eksperyment i pierwszy krok w rozwoju innych metod komunikacji z komputerem. Rozwijane narzędzia przez firmy Neuralink oraz Kernel, pozwalają spodziewać się,  że jeszcze niedługo dostępne będą dużo bardziej dokładne i zaawansowane technologicznie rozwiązania, które mają szansę zmienić metody projektowania.