Centrum Innowacyjnych Symulacji Medycznych VR i AR
Powstaje pierwszy symulator VR do szkolenia lekarzy medycyny estetycznej. Zwiększy bezpieczeństwo i innowacyjność zabiegów dermatologicznych
Newsy
2018-05-17 | 06:00
Medycyna jest jedną z najszybciej rozwijających się dziedzin pod względem technologicznym. Nowe możliwość odkrywa wirtualna rzeczywistość, dzięki której możliwe są zabiegi telemedyczne oraz zaawansowane szkolenia bez eksperymentowania na żywym organizmie. Wkrótce lekarze zajmujący się dermatologią plastyczną i dermatologią kliniczną będą mieli szansę na odbycie szkoleń na symulatorze VR. Urządzenie ma zapewnić wysoki poziom realizmu dzięki podwójnej immersji. Wsparcie merytoryczne w jego opracowywaniu zapewniają polskie autorytety z dziedziny medycyny estetycznej. Rynkowy debiut symulatora jest zaplanowany na 2020 rok.
Symulatory wirtualnej rzeczywistości znajdują zastosowanie nie tylko w branży rozrywkowej i grach wideo. Szkoli się na nich już coraz więcej maszynistów, pilotów czy pracowników linii produkcyjnych. Do grona zawodów wspieranych szkoleniowo przez rozwiązania VR dołączą również lekarze medycyny estetycznej.
– Projekt TutorDerm polega na wdrożeniu symulatora opartego na rzeczywistości wirtualnej, dzięki któremu będziemy mogli symulować zabiegi związane z dermatologią estetyczną i dermatologią kliniczną. Nie jest to klasyczne rozwiązanie VR-owe, takie jakie mamy w grach czy w branży rozrywkowej, ponieważ wykorzystuje podwójną immersję. Lekarz nakładając gogle VR i dotykając oczujnikowanej manetki, która symuluje końcówkę sprzętu dermatologicznego, widzi i dotyka wirtualną głowę pacjenta w VR, a na manetce poczuje opór, tak jakby pracował na żywym pacjencie – tłumaczy w rozmowie z agencją informacyjną Newseria Innowacje Tomasz Kierul, prezes InventionMed.
Rozwiązanie nie jest pierwszym, które ma łączyć wirtualną rzeczywistość z praktyką lekarską. Projekt NOViSE to symulator do szkoleń chirurgów w zakresie eksperymentalnych zabiegów przeprowadzanych przez naturalne otwory w ciele człowieka. Lekarze pracujący w Instytucie Kardiologii w Aninie korzystają natomiast z Google Glass przy operacjach udrażniania tętnic wieńcowych. Rozwiązanie pozwala im na dostęp w trakcie zabiegu do parametrów życiowych i wyników badań operowanego pacjenta. Powstają również aplikacje mobilne umożliwiające oglądanie poprzez HoloLens czy gogle AR narządów wewnętrznych pacjenta odwzorowanych w czterech wymiarach przy użyciu badań obrazowych. Technologia VR jest naturalnym kierunkiem rozwoju medycyny.
– Branża symulatorów wchodzi w każdy obręb naszego życia, naszej gospodarki. Kiedyś to było lotnictwo, komunikacja, dzisiaj jest przemysł. Naturalne jest to, że symulatory pojawiają się już w medycynie. Uważamy, że tego typu rozwiązania są przyszłością w medycynie. Przyszły lekarz, który będzie kiedyś pracował z żywym pacjentem, przejdzie od literatury do naszego urządzenia, a potem do właściwego pacjenta. Wydaje się, że to jest nieodzowna część, przyszłość całej medycyny. Dzisiaj dermatologia, jutro może być chirurgia. Docelowo myślimy o takich rozwiązaniach jak cały wirtualny szpital – twierdzi Tomasz Kierul.
Symulatory VR w procesie szkolenia lekarzy mogą się przełożyć na bezpieczeństwo pacjenta. Zanim nowa lub trudna procedura medyczna zostanie przeprowadzona na żywym organizmie, będzie ją można wielokrotnie przećwiczyć na symulatorze, zakładając różne scenariusze. Może to być kluczowe zwłaszcza przy opracowywaniu nowatorskich metod leczenia.
Urządzenie TutorDerm ma zadebiutować na rynku w 2020 roku, ale producenci planują wcześniejsze udostępnienie jego prototypu jednostkom medycznym w Polsce i na świecie. W pierwszej fazie będzie oferował możliwość przeprowadzenia wirtualnej operacji na głowie, ale planowane są już kolejne wersje symulatora.
– Planujemy rozwinięcie naszego symulatora o klatkę piersiową, ręce czy plecy, tak żeby symulować tam schorzenia dermatologiczne, a w trzeciej wersji będzie całe ciało człowieka z różnymi schorzeniami dermatologicznym. Głowa jest świadomym wyborem, bo jest najbardziej widoczna, na niej dokonuje się najwięcej zabiegów dermatologicznych – podsumowuje prezes InventionMed.
Według prognoz Markets and Markets światowy rynek symulatorów medycznych ma osiągnąć do 2022 roku wartość ponad 2,5 mld dol. przy średniorocznym tempie wzrostu na poziomie niemal 15 proc.
Medycyna odważnie sięga po wirtualne techniki
Rok temu neuroradiolog Wendell Gibby wykonał operację na odcinku lędźwiowym kręgosłupa z użyciem gogli Microsoft HoloLens. Lekarz po ich nałożeniu widział kręgosłup pacjenta, wyświetlony niczym slajd powierzchni ciała.
Aby precyzyjnie zlokalizować dysk, który powodował ból kręgosłupa, zdjęcia pacjenta z rezonansu magnetycznego (MRI) i tomografii komputerowej (CT) załadowano do oprogramowania OpenSight, które następnie zwizualizowało w 3D obraz kręgosłupa.
Rok wcześniej dr Shafi Ahmed użył Google Glass do transmitowania na żywo operacji wykonywanej u osoby z nowotworem. Wykorzystano dwie kamery 360 stopni i rozstawiono na sali liczne obiektywy, dzięki czemu studenci medycyny, chirurdzy i zgromadzeni widzowie mogli zobaczyć i usłyszeć, co dzieje się podczas procedury oraz nauczyć się, jak prawidłowo należy oddzielać guza od otaczających go zdrowych tkanek.
We Francji z kolei przeprowadzono ostatnio operację kory wzrokowej u pacjenta, który w trakcie zabiegu miał nałożone okulary VR (virtual reality - wirtualnej rzeczywistości). Umieszczenie chorego w wirtualnym świecie pozwoliło lekarzom oceniać w czasie rzeczywistym (tzn. podczas operacji) działanie części mózgu i połączeń mózgowych odpowiedzialnych za poszczególne funkcje. Dotychczas nie było to możliwe do przeprowadzenia na stole operacyjnym. Zdecydowano się w ten właśnie sposób zastosować gogle VR, aby uniknąć całkowitej utraty wzroku pacjenta, który na skutek choroby przestał już wcześniej widzieć na jedno oko.
Wendell Gibby z goglami HoloLens
Operacje i szkolenie lekarzy
Wymienione przykłady pokazują, jak bardzo wirtualne techniki zadomowiły się już w świecie medycyny. Pierwsze zastosowania VR w ochronie zdrowia datuje się na początek lat 90. XX wieku. Obecnie po tego rodzaju rozwiązania najczęściej sięga się, gdy zachodzi potrzeba wizualizacji złożonych danych medycznych (zwłaszcza podczas operacji i ich planowania), w nauczaniu i treningu (wizualizacja anatomii i funkcji w symulatorach laparoskopowych), w wirtualnej endoskopii, psychologii i rehabilitacji oraz telemedycynie.
W edukacji medycznej interaktywne, dynamiczne i trójwymiarowe wizualizacje mają ogromną przewagę nad klasycznymi, książkowymi atlasami. Przykładem jest Visible Human Project - finansowana przez rząd amerykański koncepcja dająca dostęp do szczegółowych danych obrazowych człowieka (CT, MRI oraz krioprzekroje). Służyć ma studiowaniu anatomii, prowadzeniu badań w zakresie obrazowania oraz tworzeniu aplikacji (edukacyjnych, diagnostycznych, związanych z planowaniem leczenia i symulacjami). Kompletny zbiór dotyczący wirtualnego mężczyzny zawiera 1971 obrazów o rozdzielczości 1 mm i wadze 15 GB. Wirtualna kobieta to 5189 obrazów (rozdzielczość 0,33 mm) i ok. 40 GB wagi.
Dodanie w wirtualnym środowisku edukacyjnym elementów dotykowych pozwala studentom na ćwiczenie bardzo wczesnych, nierozwiniętych jeszcze umiejętności. Za pomocą jednego przycisku mogą oni wirtualnie napełnić strzykawkę i ją opróżnić, a także w wirtualnej rzeczywistości "poczuć", kiedy strzykawka trafia w skórę, mięśnie czy kość - zastrzyk w torebkę stawową daje zupełnie inne wrażenie niż wbicie igły w tkankę tłuszczową. W trakcie operacji każdy ruch ma swoje, nieraz bardzo poważne, konsekwencje. Liczy się to, gdzie i jak głęboko naciąć, gdzie wkłuć, aby nie uszkodzić nerwów i żył. Dodatkowo, pod presją czasu, kiedy nieraz liczą się minuty do uratowania pacjenta, wyćwiczone umiejętności lekarza są na wagę złota. Trenowanie na wirtualnym symulatorze pozwala doskonalić technikę bez konieczności narażania niczyjego zdrowia.
Wirtualne prezentacje mają zastosowanie także na kolejnym etapie kariery zawodowej lekarza - np. wirtualna endoskopia umożliwia zasymulowanie "spaceru" po organizmie i wniknięcie w tkanki bez inwazyjnych badań. To samo przy wspomaganej komputerowo chirurgii. Podczas konwencjonalnych operacji lekarz widzi jedynie powierzchnię, a ruch skalpela nie jest, niestety, odwracalny. Chirurg musi jednak myśleć w 3D. Dzięki wykorzystaniu VR jest w stanie zajrzeć pod powierzchnię i podejmować decyzje, kierując się dodatkową wiedzą z innych źródeł.
Wśród delfinów i na koronacji Elżbiety II
Na Uniwersytecie Oksfordzkim opracowano eksperymentalną terapię dla osób cierpiących na schizofrenię. Pozwala im ona zmierzyć się twarzą w twarz z wirtualnym awatarem reprezentującym dręczące głosy w ich głowach. Po wczesnych etapach prób wyniki są obiecujące. Naukowcy, którzy przeprowadzili randomizowane badanie kontrolne, porównali te terapię z tradycyjnymi formami poradnictwa. Stwierdzili, że po dwunastu tygodniach awatary okazały się bardziej skuteczne w zmniejszaniu omamów słuchowych. W badaniu, opisanym w czasopiśmie "The Lancet Psychiatry", wzięło udział 150 pacjentów z Wielkiej Brytanii, u których schizofrenia występowała przez ok. dwadzieścia lat i którzy od ponad roku doświadczali uporczywych i niepokojących omamów słuchowych. Spośród nich 75 poddano terapii awatarowej, a 75 korzystało z tradycyjnych metod. Na razie wykazano, że awatary skutecznie zmniejszają halucynacje słuchowe. Jeśli dalsze badania okażą się sukcesem, terapia awatarowa może radykalnie zmienić podejście do leczenia milionów osób cierpiących na psychozy na całym świecie.
Dolphin Swim Club
Już od lat 70. XX wieku niektórzy badacze opisywali pozytywny wpływ terapeutyczny pływania z delfinami, zwłaszcza dla niepełnosprawnych. Jednak tzw. delfinoterapia ma swoje minusy. Po pierwsze, dla wielu osób może być zbyt droga. Po drugie, idea, zgodnie z którą ludzie wchodzą do basenów z uwięzionymi zwierzętami, została skrytykowana przez ekologów jako okrutna. Holenderka Marijke Sjollema wpadła więc na pomysł sięgnięcia po technikę rzeczywistości wirtualnej. Stworzony przez nią Dolphin Swim Club oferuje 360-stopniowe doświadczenie VR. Obecnie projekt wykorzystuje smartfon Samsung S7, zamontowany na okularach do nurkowania, z elementami drukowanymi w 3D, tworząc prowizoryczny zestaw VR.
Techniki wirtualnej rzeczywistości doskonale nadają się do walki z zaburzeniami lękowymi. Jednym z najskuteczniejszych sposobów jest tu terapia przez ekspozycję - pacjent poddawany jest działaniu bodźca, który wywołuje lęk, ale wszystko odbywa się w ściśle kontrolowanych warunkach, dających poczucie bezpieczeństwa. Wirtualna rzeczywistość pozwala skonfrontować się z lękiem przed otwartą przestrzenią, zamknięciem czy lataniem. Człowiek może stawić czoła trudnej dla niego sytuacji, jednocześnie zdając sobie sprawę, że nie uczestniczy w niej naprawdę. W badaniach, w których leczono lęk wysokości, poprawę udawało się zauważyć u 90% pacjentów.
Zastosowanie VR w rehabilitacji neurologicznej może być szansą dla pacjentów po udarze mózgu, pozwalając im na osiągnięcie szybszych rezultatów terapeutycznych i powrót do normalnego życia. Szwedzka firma MindMaze stworzyła platformę MindMotion Pro, której zasada działania wykorzystuje wiedzę z zakresu neurorehabilitacji i nauk kognitywnych. Ruchy pacjenta śledzone są za pomocą kamer i mapowane w awatarze 3D. Następnie indywidualnie dobiera się interaktywne ćwiczenia, które - po odpowiedniej serii powtórzeń - pobudzają reaktywację uszkodzonych połączeń neuronowych i aktywowanie nowych.
Naukowcy z USA, Niemiec i Brazylii opublikowali niedawno wyniki badań, w których ośmiu pacjentów z paraplegią (porażeniem kończyn) poddano leczeniu z wykorzystaniem zestawu VR i egzoszkieletu. VR symulowała aktywność ruchową, natomiast egzoszkielet poruszał nogami pacjentów, zgodnie z sygnałami mózgu. Wszyscy chorzy uczestniczący w badaniu odzyskali w pewnym zakresie odczucia i kontrolę ruchową poniżej uszkodzonego rdzenia kręgowego. Nastąpiła więc znacząca regeneracja neuronów.
Start-up Brain Power stworzył narzędzie wspierające osoby z autyzmem. Jest to ulepszony Google Glass - ze specjalnym oprogramowaniem wykorzystującym m.in. system rozpoznawania emocji Affectiva. Oprogramowanie zbiera dane dotyczące zachowania, przetwarza je i daje zwrotną informację w postaci prostych, zrozumiałych wskazówek wizualnych i głosowych dla osoby noszącej urządzenie (lub dla opiekuna). Sprzęt tego rodzaju wspiera dzieci z autyzmem w nauce języka, kontroli zachowania i rozwoju umiejętności społecznych - np. dekoduje stan emocjonalny innej osoby, po czym na wyświetlaczu, za pomocą emotikonów, "podpowiada" dziecku, co druga osoba czuje.
System MindMotion Pro
Z kolei projekt Wayback ma na celu przywrócenie żywych wspomnień osobom walczącym z demencją. Odbywa się to poprzez serię ćwiczeń rekreacyjnych z wykorzystaniem technologii cyfrowej i okularów 3D. Próbuje się w ten sposób przywołać wspomnienia oparte na istotnych wydarzeniach, których osoba cierpiąca na demencję mogła doświadczyć w ciągu swojego życia. Projektanci mają nadzieję, że zainicjuje to rozmowy z innymi ludźmi i poprawi samopoczucie. W testach, które opisywał "The Guardian", stworzono symulację rzeczywistości wirtualnej opartą na koronacji królowej Elżbiety II z roku 1953, przeznaczoną dla osób mieszkających w Wielkiej Brytanii. Wydarzenie odtworzono przy użyciu obrazów, aktorów, kostiumów z epoki i reprezentatywnych rekwizytów. Tłem była ulica Islington w północnym Londynie.
Kalifornijski start-up Deep Stream VR, przenosząc pacjentów do wirtualnego świata, w którym mogą oni „zanurzyć się”, obserwując przygody bohatera, osiągnął skuteczność w redukcji bólu rzędu 60-70%. Rozwiązanie okazało się być skuteczne w przypadku różnego rodzaju zabiegów medycznych - począwszy od dentystycznych, po zmianę opatrunków. Jednak nie ono jest najbardziej znanym na świecie wirtualnym pomysłem na ból.
Od ponad dwóch dekad pionierzy VR i specjaliści od malarstwa - Hunter Hoffman i David Patterson, obaj badacze z Uniwersytetu Waszyngtońskiego - udowadniają wyjątkową zdolność VR do łagodzenia bólu ostrego. Ich najnowszym dziełem jest wirtualny świat SnowWorld, który przenosi uwagę pacjenta z bólu do lodowatego, wirtualnego środowiska, skąpanego w chłodnych błękitach i bielach. Jedynym zadaniem chorego jest tam… rzucanie śnieżnymi kulkami w pingwiny. Może to wydawać się dziwne, ale wyniki mówią same za siebie - osoby z oparzeniami doświadczyły bólu w stopniu o 35-50% mniejszym przy zanurzeniu w VR niż w przypadku umiarkowanej dawki środków przeciwbólowych. Oprócz pacjentów szpitala dziecięcego naukowcy pracowali również z byłymi żołnierzami amerykańskimi, którzy cierpieli z powodu oparzeń bojowych oraz zmagali się z zespołem stresu pourazowego (PTSD).
Obraz z aplikacji VR SnowWorld, przeznaczonej do leczenia oparzeń
Nowotwór przyłapywany natychmiast
Okazuje się, że techniki wirtualizujące mogą pomóc nawet we wczesnym wykrywaniu raka. Lokalizacja nowotworu za pomocą standardowego mikroskopu jest procesem trudnym i czasochłonnym. Google Research zaprezentowało jednak w kwietniu 2018 r. mikroskop AR, który jest w stanie identyfikować komórki nowotworowe w czasie rzeczywistym, z dodatkową pomocą uczenia maszynowego.
Nad kamerą, która komunikuje się z algorytmem AI, znajduje się wyświetlacz AR (augmented reality - rozszerzonej rzeczywistości), prezentujący dane natychmiast po wykryciu problemu. Innymi słowy, mikroskop poszukuje komórek nowotworowych, gdy tylko umieszcza się w nim próbkę. Docelowo system można by wykorzystać do diagnozowania innych chorób, takich jak gruźlica i malaria.
Mikroskop AR wykrywający patologiczne zmiany
Zyski już całkiem nie wirtualne
Firma badawcza Grand View Research oszacowała w ubiegłym roku wartość globalnego rynku rozwiązań VR i AR w medycynie na 568,7 mln dolarów, określając roczny współczynnik wzrostu na 29,1%. Zgodnie z prognozą analityków, do 2025 r. rynek ten wart ma być już ponad 5 mld dolarów. Tak szybki wzrost tego sektora napędzany jest przez postępujący rozwój sprzętu oraz oprogramowania wirtualnej i rozszerzonej rzeczywistości, a także przez implementację technologii w coraz to nowych obszarach medycyny.
Delfinoterapia VR:
Reportaż o wykrywaniu komórek rakowych za pomocą AR:
Centrum Innowacyjnych Symulacji Medycznych VR i AR
9 listopada 2020
Planowane inwestycje
InventionMed, technologiczna firma z branży medycznej jest coraz bliżej rozpoczęcia budowy Centrum Innowacyjnych Symulacji Medycznych VR i AR w Bydgoszczy. Spółka zakupiła nieruchomości o łącznej powierzchni 2072 mkw. za kwotę ponad 4 mln zł. Projekt uzyskał dofinansowanie z Ministerstwa Rozwoju w kwocie 16 mln zł.
– Zgodnie z zapowiedziami, już niedługo rozpocznie się budowa Centrum Innowacyjnych Symulacji Medycznych VR i AR w Bydgoszczy. „Wirtualny szpital” to innowacyjna na skalę światową inwestycja, która pozwoli na kształcenie przyszłych lekarzy z wykorzystaniem zaawansowanych technologicznie rozwiązań z dziedziny symulacji medycznych – komentuje Tomasz Kierul, Prezes Zarządu InventionMed.
Centrum Innowacyjnych Symulacji Medycznych VR i AR w Bydgoszczy będzie pierwszą tego typu inwestycją na świecie. „Wirtualny szpital” umożliwi testowanie najnowocześniejszych rozwiązań technologicznych i prototypowych symulatorów medycznych stworzonych w oparciu o VR (virtual reality) i AR (augmented reality) oraz autorską technologię InventionMed - podwójną immersję. Spółka opracuje i wdroży rozwiązania produktowe umożliwiające kompleksowe szkolenie adeptów medycyny – nie tylko w zakresie dermatologii i medycyny estetycznej, ale również kardiologii, kardiochirurgii a także neochirurgii, chirurgii, geriatrii, anatomii oraz rehabilitacji neurologicznej.
Wstępny projekt zakłada budowę 5-kondygnacyjnego budynku. Całkowita wartość projektu to 29,5 mln zł. Realizację projektu wspiera notowana na NewConnect spółka SoftBlue. W maju br. firmy zawarły list intencyjny w tej sprawie. SoftBlue udostępni zasoby technologiczne a także wesprze InventionMed swoim wieloletnim doświadczeniem branżowym.
Przemysław Kutytowski
PREVIOUS POST
