Centrum Badawczo-Rozwojowe PJATK w Bytomiu

Centrum Badawczo-Rozwojowe PJATK w Bytomiu

There is no translation available.

Wprowadzenie

Strona CBR PJATK w Bytomiu

Polsko-Japońska Akademia Technik Komputerowych otwiera się na środowisko naukowe oferując interaktywny dostęp z dowolnego miejsca w kraju do Centrum Badawczo-Rozwojowego w Bytomiu, (CBR PJATK) - pierwszego w Polsce zespołu zaawansowanych laboratoriów analizy i syntezy ruchu w modelu shareconomy.

W celu powiększenia zbioru jednostek współpracujących nad opracowywaniem nowych rozwiązań, poszerzenia zakresu prowadzonych badań i podniesienia ich nowatorstwa CBR PJATK udostępnia w trybie współdzielenia:

1) unikalne specjalistyczne laboratoria do akwizycji i analizy ruchu człowieka,

2) infrastrukturę informatyczną umożliwiającą przetwarzanie i gromadzenie dużej ilości danych,

3) dostęp do unikalnych danych zgromadzonych w wyniku dotychczasowych badań.

Korzystając ze światowych doświadczeń, CBR PJATK proponuje współpracę i dzielenie się doświadczeniem, zasobami sprzętowymi i programowymi umożliwiając podejmowanie innowacyjnych i interdyscyplinarnych badań w zakresie akwizycji, analizy i syntezy ruchu człowieka, dyseminację wyników w renomowanych czasopismach światowych i prace rozwojowe prowadzące do wprowadzania innowacyjnych produktów na rynek.

Nasze Laboratoria

Wielomodalne Laboratorium Ruchu HML (Human Motion Lab)

HML umożliwia pozyskiwanie danych ruchu przez jednoczesny i synchroniczny pomiar oraz rejestrację kinematyki ruchu, potencjałów mięśniowych reakcji sił podłoża oraz strumieni wideo.

hml

Rys. 1. Przykładowa wizualizacja wielomodalnych danych pozyskiwanych w laboratorium HML

Aparatura

10 kamer NIR Vicon MX-T40 o następujących parametrach: rozdzielczość: 4 MP (2352 x 1728 px) 10-bitowa skala szarości. System pozwala na przechwytywanie do 370 klatek na sekundę w pełnej rozdzielczości (4 MP), w przypadku większych częstotliwości próbkowania następuje zmniejszanie rozdzielczości. Do standardowych pomiarów wykorzystuje się prędkość akwizycji 100 ramek na sekundę. Przestrzeń pomiarowa ma kształt walca elipsoidalnego o wysokości 3m i podstawie o osiach 6,47m, 4,2m Kolejnymi elementami wyposażenia aparturowego są: dwie płyty naciskowe Noraxon, system EMG MyoSystem 1400A 2x8 kanałowy, 4 kamery wideo HD (DV Basler Pilot piA 1920-32gc) bieżnia ze zmiennym nachyleniem, stabilometr.

Oprogramowanie

Nexus, Blade, Polygon, Body Builder, BioWare, MDE (Motion Data Editor) - własny system stworzony w PJATK dla przeglądania i edycji danych ruchu.

Obszary współpracy

  • Wielomodalna akwizycja ruchu postaci ludzkiej w systemie Vicon: kinematyka, dynamika, EMG, GRF, cztery strumienie HD (High Definition) wideo, oraz LFP (Local Field Potential) zaplanowane po uzyskaniu dostępu do stymulatorów z BMI,
  • Reprezentacja ruchu: przeliczenia pomiędzy formatami zapisu ruchu, filtracja trajektorii markerów, korekcja ramek wybranych kości, algorytmy wyznaczania szkieletu, ocena jakości szkieletu,
  • Modelowanie i synteza ruchu: dynamika prosta i odwrotna, algorytmy Featherstona, implementacja i rozszerzenia, 
  • Analiza ruchu z zastosowaniem deskryptorów ruchu. Segmentacja ruchu. Kryteria podobieństwa dla różnych reprezentacji ruchu (DTW-Dynamic Time Warping i jego modyfikacje), redukcja wymiarowości, odkrywanie rozmaitości dla różnych rodzajów ruchu (wymiarowość, mapowanie) klasteryzacja i klasyfikacja danych ruchu, 
  • Badanie ruchu jako cechy osobniczej: wyznaczanie deskryptorów osobniczych, 
  • Planowanie i nadzorowanie rehabilitacji oraz jej optymalizacja,
  • Projektowanie i optymalizacja protez i implantów ortopedycznych,
  • Diagnostyka schorzeń ortopedycznych, śledzenie i ocena skutków leczenia, 
  • Diagnostyka i rehabilitacja w chorobie Parkinsona, korelacja skali UPDRS z deskryptorami ruchu, ocena wpływów leku, stymulacji oraz strojenie parametrów stymulacji na podstawie deskryptorów ruchu.

Laboratorium Komputerowego Modelowania Twarzy HFML (Human Facial Modelling Lab) i Laboratorium Mikroekspresji HMX (Human Microexpression Lab)

O ile problem retargetingu ruchu człowieka jest rozwiązany, to percepcyjnie wiarygodny retargeting emocji twarzy jest wciąż problemem otwartym. Twarz nie jest bryłą sztywną, a jej mimika jest jednym z głównych kanałów komunikacji pomiędzy ludźmi. Akwizycja mimiki z wykorzystaniem markerów jest prosta aczkolwiek uciążliwa dla aktora. Jedną ze specyficznych mimik są tzw. mikroekspresje występujące w przypadku świadomego kłamstwa.

2

 

Rys.2 Od lewej i) dwie klatki z rejestracji mikroekspresji twarzy w przypadku kłamstwa oraz ii) cztery siatki twarzy odtworzone na podstawie danych z systemu markerowego.

 

3 

Rys. 3. Systemy akwizycji mimiki twarzy (markerowy i bezmarkerowy) Od lewej i) system 10 kamer Bonita 10 (strzałki czerwone) i 6 synchronizowanych sprzętowo kamer wideo (strzałki niebieskie), ii) przykładowa kamera Bonita 10 i wideo kamera.

Aparatura

10 kamer NIR Vicon Bonita 10 o następujących parametrach: rozdzielczość: 1 MP, częstotliwość próbkowania do 250 fps, 10-bitowa skala szarości, 6 kamer Point Grey Grasshopper 3 o rozdzielczości 1920x1200, prędkości akwizycji 162 fps z globalną migawką i precyzyjnymi obiektywami o ogniskowej 25 mm i jasności 1.4-16. Trzy kontrolery USB 3.0, z dwoma portami zewnętrznymi 5 Gb/s. Programowany synchronizator z trybami: autorun, trigrun, syncrun, gaterun, softrun. Komputer sterujący z dyskiem 2x5TB.

Oprogramowanie

Nexus, Blade, Polygon, Meshlab. Zaimplementowane dwie technologie przenoszenia pozyskanej z wideo mimiki twarzy aktora na 3D neutralną siatkę twarzy. Pierwsza technologia wykorzystuje system markerowy Bonita, druga obrazy z 6 synchronizowanych kamer wideo.

Obszary współpracy

  • Przemysł gier wideo rozrywkowych i poważnych,
  • Biometria twarzy, wykrywanie kłamstwa na podstawie mikroekspresji
  • Badania przesiewowe pod kątem wykrywania uszkodzeń genetycznych

Laboratorium Wizyjnej Analizy Ruchu HSL (Human Seeing Lab)

Laboratorium HSL jest nastawione na rozwój, testowanie i tworzenie nowych narzędzi dla potrzeb IVA (Inteligent Video Analytics). Podstawą dla działania Laboratorium HSL jest dostęp do strumieni wideo z kamer PTZ w jakości HD, bazy danych oraz sprzęt pozwalający na przetwarzanie online danych wideo.

4

Rys. 4. Przykładowe ekrany systemu rozpoznawania zachowań. Od lewej i) klasyfikacja wypracowana przez system, ii) wizualizacja trajektorii ruchu punktów wyznaczonych na krawędzi sylwetki.

Aparatura

9 kamer przemysłowych PTZ Axis Q6045-E Mk II w tym 7 w Gliwicach, 2 w CBR Bytom. Kamery posiadają następujące parametry: rozdzielczość full HD 1080p, format strumieniowania MJPEG 25FPS, 32 krotny zoom optyczny, migawka 1/33.000s do 1/3s, zgodność z ONVIF, dostęp przez protokoły HTTP, HTTPS, SSL/TLS, FTP, CIFS/SMB, SNMP, SSH, RTCP, SFTP. 14 dwuprocesorowych stacji roboczych do testowania i implementacji algorytmów i systemu. Serwer macierzy dyskowej oraz backupu danych wizyjnych.

Oprogramowanie

Implementacje na poziomie prototypów i) rozpoznawania akcji AR (Action Recognition) z wykorzystaniem wysokopoziomowej reprezentacji ruchu action banks, poselets i ich mieszanin, historii prędkości śledzonych punktów, segmentacji ruchu, transformaty Hough’a, modeli przegubowych, histogramów gradientów, metod opartych na rozmaitościach topologicznych, ii) śledzenia osób i obiektów TMO (Tracking Multiple Objects), opartych na śledzeniu punktów kluczowych i klasyfikacji ich trajektorii, modelach deformowalnych, minimalizacji energii, tracklet confidence, discrimative appearance, metodach grafowych, iii) rozpoznawania i śledzenia pozy osób PT (Pose Tracking) w tym estymacji pozy 3D.

Obszary współpracy

  • Identyfikacja zachowań osób oraz detekcja sytuacji niebezpiecznych,
  • Przewidywanie intencji na podstawie obrazów z wielokamerowych systemów wideo przy użyciu modeli zachowań grup,
  • Tworzenie materiałów dowodowych na podstawie wyników analizy ruchu w oparciu o psychologię społeczną, techniki biometryczne i inferencję postaci w 3D z wideo,
  • Analiza prawdopodobieństwa zagrożenia na podstawie informacji o osobach i grupach przemieszczających się w polu widzenia wielu kamer,
  • Identyfikacja zachowań osób oraz detekcja sytuacji niebezpiecznych,
  • Przewidywanie intencji na podstawie obrazów z wielokamerowych systemów wideo przy użyciu modeli zachowań grup,

Laboratorium Systemów Ubieralnych WTL (Wearable Technology Lab)

Możliwość akwizycji parametrów ruchu i szerzej parametrów życiowych człowieka jest jednym z gwałtownie rozwijających się obszarów badawczych i wdrożeniowych.

10

Rys.5. Trzy wersje kostiumu akwizycji ruchu z modułami i przewodami zintegrowanymi z odzieżą.

Aparatura

Własny kostium oparty na połączonych przewodowo magistralą CAN modułach IMU. Kostium posiada wersję konfigurowalną, paskową i zintegrowaną z odzieżą. Opracowane zostały własne prototypy bezprzewodowych modułów WBAN oparte na ZigBee.

Oprogramowanie

5

Rys.6. Od lewej i) ekran konfiguracji oprogramowania obsługującego strój w fazie wprowadzania danych antropometrycznych użytkownika, ii) ekran konfiguracji potoku przetwarzania danych.

 

Kostium IMU obsługuje oprogramowanie MSAR o rozwijalnej strukturze modułowej przeznaczone do akwizycji, wizualizacji i analizy danych ruchu w trybie online jak również gromadzenia danych ruchu z mobilnych systemów akwizycji ruchu. Oprogramowanie MSAR składa się z czterech modułów:

  • Biblioteka do komunikacji z systemem MSAR,
  • Moduł obsługi danych strumieniowych czujników systemu MSAR,
  • Moduł obsługi wizualizacji danych szkieletowych,
  • Moduł wprowadzający obsługę funkcjonalności systemu MSAR do aplikacji umożliwiając integrację danych MSAR z innymi modułami przetwarzającymi dane ruchu.

Obszary współpracy

  • Wszystkie obszary sportu w których występuje potrzeba akwizycji i analizy ruchu,
  • Długookresowa zdalna kontrola ruchowa pacjentów z chorobą Parkinsona w ich środowisku naturalnym,
  • Nadzór osób starszych, detekcja upadków, poślizgnięć,
  • Rehabilitacja i telerehabilitacja.

Laboratorium Dynamiki i Wielomodalnej Interakcji HDMI (Human Dynamics and Multimodal Interaction Lab)

CAREN Extended (Computer Assisted Rehabilitation ENvironment) jest immersyjnym systemem rzeczywistości wirtualnej przeznaczonym dla badań i rehabilitacji. System pozwala na realizację prac badawczych w zakresie neurologii, rehabilitacji, ortopedii, sportu, rozrywki zarówno w trybie dostępu bezpośredniego jak i zdalnego.

6

Rys. 7. Laboratorium CAREN Extended widziane od strony stanowiska operatora. Od lewej i) widok przed uruchomieniem środowiska wirtualnego, ii) widok z wizualizacją ruchu wzdłuż ulicy miasta.

Aparatura

Podstawowym elementem wyposażenia aparaturowego laboratorium HDMI jest pierwszy w Polsce i jeden z 30 eksploatowanych w świecie system CAREN Extended stanowiący jakościowe rozszerzenie laboratorium HML, polegające na wprowadzeniu wielomodalnego sprzężenia zwrotnego realizowanego z wykorzystaniem technik wirtualnej rzeczywistości. CAREN Extended posiada interaktywną dwupasmową bieżnię o prędkości maksymalnej 5 m/s. Na całej długości każdego pasa bieżni rozmieszczone są czujniki mierzące siłę nacisku stopy na podłoże (system GRF). Bieżnia umieszczona jest na platformie o 6 stopniach swobody. Kinematyka platformy jest programowalna i umożliwia zadawanie prędkości i przyśpieszeń liniowych i kątowych platformy w funkcji czasu. Środowisko CAREN Extended posiada zaawansowany system wizyjny oraz system dźwięku dookólnego. Obraz wyświetlany jest na półsferycznym ekranie umieszczonym przed bieżnią.

W systemie realizowany jest bezprzewodowy pomiar potencjałów mięśniowych EMG. Możliwa jest rekonfiguracja systemu przez dodanie systemu EEG i systemu DBS z pomiarem potencjałów LFP. Wszystkie wielkości mierzone w środowisku CAREN Extended są synchronizowane sprzętowo. Wielkości mierzone w systemie jak również estymowane w wykorzystaniem oprogramowania są na bieżąco wyświetlane na wirtualnych ekranach, oraz mogą być zapisane w edytowalnym pliku graficznym. Dodatkowo zachowanie osoby na bieżni nagrywane jest przez 3 kamery.

Oprogramowanie

Nexus, Blade, Polygon, Body Builder, D-Flow.

Obszary współpracy

  • Badanie strategii stabilizacji pozy wytrącanej z punktu równowagi przez krótkookresowe zmiany prędkości pasów, lub zmiany orientacji platformy,
  • Badanie motoryki chodu i biegu w przypadku zakłóceń,
  • Badanie roli informacji wizyjnej (obraz na ekranie), sensorycznej (platforma 6DOF) i akustycznej na strategie utrzymywania równowagi, chodu i biegu, 
  • Badanie roli informacji wizyjnej (obraz na ekranie) na strategię chwytania (synchronizacja oko-ręka), 
  • Opracowanie nowych strategii rehabilitacji z wykorzystaniem biofeedback’u, w tym dla przypadku choroby Parkinsona (rythmic cues),
  • Projektowanie i optymalizacja protez i implantów ortopedycznych,
  • Diagnostyka schorzeń ortopedycznych, śledzenie i ocena skutków leczenia.

Bazy danych

Baza Danych Wizyjnych w jakości full HD p1080, 18-27 FPS MJPEG wraz z wielowarstwowym rozbudowywanym indeksem opisującym ruch pod kątem rozpoznawania wzorców zachowań. Ze względu na swój rozmiar jest bazą unikatową w skali świata – obecnie udostępniane zbiory wideo mają maksymalnie kilka GB, niskorozdzielczych danych wideo z nagraniami ruchu i danymi kalibracyjnymi kamer. Baza zawiera 10000 godzin nagrań, ponad miliard trzysta milionów klatek, 7.5 miliona zapisanych zdarzeń, z czego 53 tysiące zdarzeń ręcznie adnotowanych, 150 rodzajów zdarzeń.

Baza Danych Assetów Realistycznych Animacji na potrzeby gier komputerowych (mocap + rigged meshes)

Wielomodalna Baza Danych z pomiaru ruchu, chodu, ćwiczeń osób zdrowych i pacjentów: mocap (100 fps), 4 strumienie wideo (25 fps, 1920x1080), EMG, GRF.

Multimodalna Baza Danych wybranych zadań ruchowych pacjentów chorych na chorobę Parkinsona: 4 strumienie wideo (25 fps, 1920x1080), motion capture (100 fps), EMG(EMG LB 3), GRF.

Baza Danych Posegmentowanych adnotowanych zdjęć z ultrasonografii dłoni wraz z power doppler.


Infrastruktura informatyczna

Obliczenia: 23 węzły, 20 x Tesla K80, 2 x NVidia K2, 664 core CPU, 7TB RAM.
Pamięć: 1.2 PB, dynamic tiering, architektura do pracy sekwencyjnej i losowej, 15 MB/s (read), nośniki: SSD (3 TB), SAS (184 TB), NL-SAS (1092 TB)
Oprogramowanie: Wirtualizacja RHEV, SLURM, GLUT, MATLAB (serwer), OS Win, ubuntu, MSVS, GCC.

logotypy2

CBR-PJATK jako ekosystem nowoczesnych laboratoriów akwizycji, analizy i syntezy ruchu w modelu shareconomy

Współpracując z wieloma instytucjami i firmami, w CBR-PJATK zauważono zapotrzebowanie na dostęp do zasobów, zaawansowanej infrastruktury technicznej oraz know-how. Posiadaną infrastrukturę i zasoby PJATK będzie udostępniać innym podmiotom w Polsce i w Europie na zasadach non profit oraz komercyjnych używając do tego największej infrastruktury sieciowej w kraju – PIONIER oraz GeaNT. PIONIER poprzez model federacji – zunifikowany mechanizm autoryzacji użytkowników - oferując dostęp do wszystkich korzystających z tej sieci podmiotów naukowych i medycznych w kraju, co upraszcza zarządzanie użytkownikami zewnętrznymi.

7

Rys. 8. Ogólna struktura zasobów CBR PJATK oraz koncepcja ich udostępniania.

W PJATK CBR stworzono również ekosystem obliczeniowy w ramach którego można udostępniać Infrastrukturę: środowiska wirtualne, serwery obliczeniowe, serwery danych, laboratoria, oraz posiadane zasoby. Podstawowe zastosowania ekosystemu obliczeniowego obejmują: gromadzenie danych, tworzenie modeli obliczeniowych, przetwarzanie obrazów, udostępnianie zasobów, integrację z innymi ośrodkami obliczeniowymi oraz wymianę informacji.

17

Rys.9. Możliwości wykorzystania infrastruktury informatycznej posiadanej w CBR PJATK.

System Bezpieczeństwa

Jako system bezpieczeństwa, który umożliwia spełnienie wymagań ustawy o ochronie danych osobowych oraz innych rozporządzeń z tego wynikających, CBR PJATK wdrożyło infrastrukturę klucza publicznego, której elementami są między innymi: urzędy certyfikacji, stacje personalizacji kart inteligentnych wraz z drukarkami. W konsekwencji logowanie do systemów odbywa się przy użyciu kart inteligentnych posiadających ważne certyfikaty osobowe.

18

Rys.10. Koncepcja systemu bezpieczeństwa.

System telekonferencji i zunifikowanej komunikacji

System do wideokonferencji i zunifikowanej komunikacji został opracowany na potrzeby interaktywnego udostępniania laboratoriów, zasobów i danych. W skład systemu wchodzą sprzętowe terminale wideo znajdujące się w laboratoriach oraz serwery zunifikowanej komunikacji zwiększające efektywność komunikacji i współpracy zdalnej. System umożliwia połączenia głosowe oraz wideo, wysokiej jakości obsługę konferencji głosowych, połączeń wielostronnych i wymaga od użytkowników zlokalizowanych poza CBR PJATK tylko przeglądarki internetowej.