Katedra Multimediów pod kierunkiem profesora Krzysztofa Maraska zajmuje się metodami inteligentnymi w opisie i tworzeniu treści multimedialnych, w tym wykorzystaniem uczenia maszynowego. Priorytetowe kierunki badań to:

• rozpoznawanie i rozumienie mowy polskiej (Clarin-pl,luna),
• analiza dźwięków muzycznych,
• tłumaczenie maszynowe,
• interakcja człowiek-komputer.

 

Obecnie trwają badania nad analizą wydźwięku tekstu (tzw. emotion AI) w kontekście systemów decyzyjnych, metodami ekstrakcji danych z dużych zbiorów tekstów (big data) celem wspomagania diagnostyki chorób genetycznych, wykorzystaniem metod uczenia maszynowego do oceny bólu oraz jakości leczenia w ramach projektu PROMIS.

Katedra zajmuje się także zastosowaniem uczenia maszynowego w komunikacji człowiek-komputer. Przykładem użycia mogą być trwające badania nad komunikatorem wykorzystującym język migowy oraz komunikatorem wykorzystującym jedynie ruch gałek ocznych dla osób wykluczonych z powodu różnego rodzaju chorób.

Pole do współpracy z psychologami widzimy szczególnie w obszarze HCI i systemów dialogowych. Prowadzimy także prace nad inteligentnym wyszukiwaniem multimodalnym, analizą hałasu aut oraz analizą sygnałów USG. Duży nacisk kładziemy na współpracę między-uczelnianą i międzynarodową oraz interdyscyplinarność badań.

Andrzej Przybyszewski otrzymał tytuł magistra inżynierii elektrycznej na Politechnice Warszawskiej oraz magistra matematyki na Uniwersytecie Warszawskim. Otrzymał tytuł doktora neurofizjologii Warszawskiej Akademii Medycznej i doktora habilitowanego w Instytucie Biologii Doświadczalnej im. Marcelego Nenckiego. Aktualnie jest profesorem informatyki w Polsko – Japońskiej Akademii Technik Komputerowych w Warszawie oraz docentem neurologii na Uniwersytecie Massachusetts w Worcester. Jego celem długofalowym jest zrozumienie w jaki sposób ludzki mózg dokonuje integracji strumienia informacji sensorycznych i przekształca je w działanie. Dokonywał rejestracji obrazów z siatkówki oka podczas pracy w Berlinie i Utrechcie. Później, na Uniwersytecie Massachusetts i w Instytucie Schepensa (Harvard Medical School) dokonywał rejestracji z obszarów wzrokowych LGN, V1 oraz V4 u małp. Ścieżki reprojekcji odgrywają kluczową rolę w funkcjonowaniu mózgu (jako „nauczyciel”). Rejestrował i analizował także zachowania małp marmozet podczas pobytu na Uniwersytecie McGill w Montrealu.

Aktualnie zajmuje się badaniami klinicznymi związanymi z chorobami zwyrodnieniowymi układu nerwowego. Oprócz pracy w PJATK nadal współpracuje z Uniwersytetem Massachusetts oraz warszawskimi klinikami neurologicznymi nad analizą motorycznych, kognitywnych i emocjonalnych symptomów w pacjentach z chorobami zwyrodnieniowymi układu nerwowego. Celem tych badań jest zastąpienie nieprecyzyjnych i częściowo subiektywnych pomiarów dokonywanych przez lekarzy precyzyjnymi i obiektywnymi metodami, by stworzyć inteligentną bazę danych. Mogłaby ona stać się standardowym narzędziem i doprowadzić do odkrycia nowych biomarkerów (jego ostatnie prace dotyczyły zmian w ruchu oka u pacjentów z chorobą Parkinsona).

Głównym wątkiem w jego pracy jest koncepcja Paula Ricoeura opisana w jego książce Soi-même comme un autre (1990), że tożsamość jednostki ma swoje źródło nie tylko w genach, ale także w indywidualnych działaniach które pozostawiają ślad na równoległych procesach które stają się częścią mózgu.

Zgodnie z tą tezą pacjenci z chorobą Parkinsona mają różne objawy. Aby przewidzieć postępy choroby Przybyszewski używa metod data mining i machine learning, odmiennych od standardowych procedur opartych na standaryzacji objawów wielu pacjentów.

Zespół badawczy profesora Konrada Wojciechowskiego z PJATK CBR Bytom Akwizycja kinematyki i kinetyki ruchu człowieka z wykorzystaniem:

• systemu markerowego typu VICON,
• układu kamer wideo lub jednej kamery ruchomej,
• systemu sensorów MEMS/IMU.

Pozyskane dane są podstawą badań nad biometrią chodu i mową ciała, oceną stanu emocjonalnego na podstawie zachowań. Badania w systemie CAREN zależności chodu od pobudzenia torów: wizyjnego, słuchowego, czucia głębokiego. Retargeting danych ruchu na postać wirtualną.

Akwizycja mimiki twarzy człowieka z wykorzystaniem:

• systemu markerowego VICON Bonita,
• układu 6 kamer wideo.

Pozyskane dane są podstawą do badań przesiewowych w zakresie chorób rzadkich. Rejestracja mimiki twarzy w reakcji na pobudzenie wizyjne (sceny z gry komputerowej) jest podstawą diagnozy psychiatrycznej. Gry diagnostyczno-rehabilitacyjne w psychologii i psychiatrii. VR, AR.

Retargeting mimiki twarzy na twarz wirtualną. Inteligentne kamery systemu monitoringu, projekt SAVA z wykorzystaniem technologii DNN jako: Inteligentny system analizy i rozumienia rozproszonych, heterogenicznych, danych wideo dla podniesienia poziomu bezpieczeństwa publicznego Modelowanie:

• jedno osobowych procesów decyzyjnych z wykorzystaniem reguł decyzyjnych, drzew i lasów decyzyjnych, uczenia ze wzmocnieniem oraz
• wieloosobowych procesów decyzyjnych interpretowanych jako gry Nasha, Stackelberga. Implementacja wymienionych procesów oparta na technologii DNN.

Zainteresowane osoby proszę o kontakt prof. Konrad Wojciechowski,
PJATK CBR Bytom,
508 053 370.

Materiały ogólne są na stronie bytom.pja.edu.pl