Zespół Wbudowanych Systemów Wizyjnych (Embedded Vision Systems – EVS) działa w ramach Laboratorium Systemów Wizyjnych, Katedry Automatyki i Robotyki na Wydziale Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej (EAIiIB), Akademii Górniczo-Hutniczej im. Stanisława Staszica w Krakowie.

Prowadzimy badania nad implementacją różnego rodzaju systemów wizyjnych, które mogę działać w czasie rzeczywistym nawet dla strumienia wizyjnego o wysokiej rozdzielczości i próbkowaniu – do UHD (3840 x 2160 @ 60 fps) – przy zachowaniu niewielkiego zużycia energii. Jako platformy sprzętowe wykorzystujemy układy reprogramowalne FPGA (ang. Field Programmable Gate Array), reprogramowalne układy SoC (ang. System on Chip) np. Zynq SoC, Zynq UltraScale+ MPSoC (ang. Multi Processor System on Chip), czy rozwiązania typu embedded GPU (ang. Graphic Processing Unit) np. serię Jetson firmy Nvidia. Interesujemy się także platformami neuromorficznymi (np. Intel Loihi) oraz obserwujemy rozwój komputerów kwantowych.

Systemy takie znajdują zastosowanie w aplikacjach wymagających bardzo szybkiego i wydajnego przetwarzania danych wizyjnych tak, aby pozyskana z nich informacja mogła być niemal natychmiast wykorzystana do wspomagania podejmowania decyzji lub sterowania aplikacją. Prowadzone obecnie badania skupiają się w następujących obszarach:

– sterowanie autonomicznych, bezzałogowych pojazdów latających (dronów, UAV, UAS),

– algorytmów wizyjnych dla pojazdów autonomicznych (ang. self-driving cars) i zaawansowanych systemów wspomagania kierowcy (ADAS – ang. Advanced Driver Assistance Systems),

śledzenia obiektów i określenia ich trajektorii ruchu,

– wykorzystania danych z czujnika LiDAR do detekcji obiektów i tworzenia mapy otoczenia,

– segmentacji obiektów pierwszoplanowych i ruchomych, a także elementów zaawansowanych systemów monitoringu wizyjnego (AVSS – ang. Advanced Video Surevillance Systems),

– implementacji wbudowanych metod sztucznej inteligencji (ang. embedded AI) – głębokich konwolucyjnych sieci neuronowych oraz sieci impulsowych.

Członkowie grupy współtworzą od 2011 roku międzynarodową konferencję DASIP (The Conference on Design and Architectures for Signal and Image Processing) współdziałając m.in. z naukowcami z Niemiec, Francji, Włoch, Hiszpanii, Portugalii i Kanady. Publikujemy też na konferencjach ARC (International Symposium on Applied Reconfigurable Computing ), DSD (Digital System Design)) oraz ICCVG (International Conference on Computer Vision and Graphics), SPA (Signal Processing Algorithms, Archtectures, Arrangements and Applications), KKA (Krajowa Konferencja Automatyki), FedCSIS (Federated Conference on Computer Science and Information Systems) oraz w czasopismach Journal of Real-Time Image Processing, Journal of Signal Processing i Sensors.

 

Pracownicy zespołu prowadzą dydaktykę z przedmiotów: Przetwarzanie Obrazów Cyfrowych (Digital Image Processing and Vision Systems), Systemy Rekonfigurowalne, Programowanie strukturalne i obiektowe, Zaawansowane programowanie obiektowe, Algorytmy i struktury danych, Architektury systemów wizyjnych, Metody kompresji i kodowania obrazów, Programowo-sprzętowa realizacja algorytmów (Hardware-Software Vision Systems), Systemy i algorytmy percepcji w pojazdach autonomicznych, Obliczenia równoległe w CUDA, Biometrics oraz HLS tools. Corocznie, w efekcie współpracy pracowników i studentów powstaje kilka prac inżynierskich i magisterskich. Ponadto przy naszym zespole działa Studenckie Koło Naukowego AVADER, który skupia studentów zainteresowanych wbudowanymi systemami wizyjnymi, dronami i pojazdami autonomicznymi.

 

PRACOWNICY ZESPOŁU

Marek_Grogon_evs_s

Marek Gorgoń

prof. dr hab. inż.

Specjalizuję się w zagadnieniach architektur systemów wizyjnych, ze szczególnym uwzględnieniem systemów czasu rzeczywistego, układów rekonfigurowalnych FPGA oraz systemów wbudowanych i inteligentnych. Szerzej, moje zainteresowania obejmują wiele zagadnień z obszarów automatyki i robotyki, elektroniki i informatyki stosowanej. Jestem autorem 120 publikacji naukowych.

TomaszKryjak_evs_s

Tomasz Kryjak

dr inż.

Interesuję się wbudowanymi systemami wizyjnymi dla pojazdów autonomicznych, dronów i zaawansowanego automatycznego monitoringu wizyjnego. Implementuję je w układach FPGA oraz programowalnych, heterogenicznych układach obliczeniowych. Zajmuje się również kamerami zdarzeniowymi, obliczeniami neuromorficznymi oraz wbudowanymi systemami AI.

bublinski1

Zbigniew Bubliński

dr inż.

Interesuję się optymalizacją algorytmów cyfrowego przetwarzania i analizy obrazów oraz wbudowanymi systemami wizyjnymi. Prowadzę zajęcia z zakresu systemów wizyjnych i wbudowanych systemów wizyjnych.

P_Pawlik2

Piotr Pawlik

dr inż.

Interesuję się analizą i przetwarzaniem obrazów ze szczególnym uwzględnieniem tematyki punktów charakterystycznych. Prowadzę zajęcia z przedmiotów informatycznych oraz systemów wizyjnych.

DominikaPrzewlocka_evs_s

Dominika Przewłocka-Rus

mgr inż.

Interesuję się rozwiązaniami sztucznej inteligencji, w szczególności wykorzystaniem sieci neuronowych we wbudowanych systemach wizyjnych. Zajmuję się implementacją takich algorytmów w układach FPGA oraz programowalnych, heterogenicznych układach obliczeniowych.

MarcinKowalczyk_evs_s

Marcin Kowalczyk

mgr inż.

Moje zainteresowania skupione są wokół systemów wizyjnych czasu rzeczywistego dla robotów autonomicznych. W badaniach wykorzystuję heterogeniczne platformy obliczeniowe oraz wysokopoziomowe środowiska umożliwiające modelowanie algorytmów i projektowanych systemów. Moje badania dotyczą również wykorzystania neuromorficznych czujników zdarzeniowych w nowoczesnych systemach przetwarzania danych wizyjnych, które wymagają opracowania nowych metod przetwarzania danych.

HubertSzolc_evs_s

Hubert Szolc

mgr inż.

Interesuję się sterowaniem pojazdami autonomicznymi w oparciu przede wszystkim o informację wizyjną. Do implementacji sprzętowej przygotowanych algorytmów wykorzystuję układy FPGA oraz heterogeniczne platformy obliczeniowe.

dav

Mateusz Wąsala

mgr inż.

Interesuję się wbudowanymi systemami wizyjnymi, w szczególności algorytmami SLAM do generowania mapy otoczenia oraz pozycjonowania bezzałogowych pojazdów latających. Zajmuję się również projektowaniem i budową elementów wyposażenia przeznaczonych do tych pojazdów.

DOKTORANCI
Krzysztof_Blachut_evs_s

Krzysztof Błachut

mgr inż.

Moje zainteresowania naukowe obejmują wbudowane systemy wizyjne w latających i jeżdżących pojazdach autonomicznych oraz w systemach monitoringu wizyjnego. Do ich realizacji wykorzystuję heterogeniczne platformy obliczeniowe, ze szczególnym uwzględnieniem układów FPGA.

PiotrKonopka_evs_s

Piotr Konopka

mgr inż.

Prace inżynierską i magisterską zrealizowałem w tematyce wbudowanych systemów wizyjnych jako członek SKN AVADER. Obecnie, jako doktorant, reprezentuję uczelnię w CERN, gdzie pracuję nad systemem akwizycji i przetwarzania danych dla eksperymentu ALICE.

Joanna_Stanisz_evs_s

Joanna Stanisz

mgr inż.

Moje zainteresowania obejmują detekcję obiektów i segmentację na podstawie danych z czujników wizyjnych oraz czujnika LiDAR. Implementację opracowanych algorytmów opieram o układy FPGA oraz procesory graficzne.

Konrad_Lis_evs_s

Konard Lis

mgr inż.

Interesuję się wbudowanymi systemami percepcji, w szczególności przeznaczonymi dla pojazdów autonomicznych. Do implementacji algorytmów wykorzystuję układy FPGA, układy heterogeniczne oraz procesory graficzne.

Michal_Danilowicz_evs_s

Michał Daniłowicz

mgr inż.

Interesują mnie systemy sterowania oparte o wizję komputerową i sztuczną inteligencję, w szczególności detekcja oraz śledzenie obiektów. Badam możliwość ich implementacji w platformach takich jak GPU i FPGA.

Michal_Machura_20_21_evs_s

Michał Machura

mgr inż.

Interesuję się tematyką głębokich sieci neuronowych. Zajmuję się projektowaniem architektur zorientowanych na implementację sprzętową, a także ich akceleracją z wykorzystaniem układów FPGA.

Piotr_Wzorek_evs_s

Piotr Wzorek

mgr inż.

Interesują mnie systemy wizyjne, zagadnienia głębokich sieci neuronowych oraz inne algorytmy sztucznej inteligencji. Zajmuję się ich akceleracją sprzętową na platformach wbudowanych, GPU oraz FPGA.

DYPLOMANCI
Anna_Kulińska_evs_s

Anna Kulińska

inż.

Temat pracy magisterskiej: ATLAS Local Trigger Interface – rozwój implementacji sprzętowej, weryfikacja oraz testy.
Opiekun: dr inż. Tomasz Kryjak

Maciej_Talar_evs_s

Maciej Talar

mgr inż.

Temat pracy magisterskiej: Symulacja “hardware-in-the-loop” na potrzeby weryfikacji aplikacji przeznaczonych dla bezzałogowych statków powietrznych.
Opiekun: dr inż. Tomasz Kryjak

Konrad_Wajda_20_21_evs_s

Konrad Wajda

mgr inż.

Temat pracy magisterskiej: Rekonstrukcja informacji 3D przy użyciu kamery zdarzeniowej
Opiekun: dr inż. Tomasz Kryjak

Jakub_Wozniak_evs_s

Jakub Woźniak

mgr inż.

Temat pracy magisterskiej: Detekcja obiektów z wykorzystaniem kamery zdarzeniowej.
Opiekun: dr inż. Tomasz Kryjak

Prace magisterskie

Kamil_Bialik

Kamil Bialik

inż.

Temat pracy magisterskiej: Szybkie zliczanie elementów na podajniku taśmowym z wykorzystaniem kamery zdarzeniowej
Opiekun: dr inż. Tomasz Kryjak

IMG_0590

Damian Cholewa

inż.

Temat pracy magisterskiej: System percepcji i sterowania modelu pojazdu autonomicznego w symulatorze CARLA
Opiekun: dr inż. Tomasz Kryjak

Artur_Cyba_eve_s

Artur Cyba

inż.

Temat pracy magisterskiej: Sterowanie autonomicznym dronem wyścigowym na podstawie informacji wizyjnej
Opiekun: dr inż. Tomasz Kryjak

Michał_Knap_eve_s

Michał Knap

inż.

Temat pracy magisterskiej: Sterowanie pojazdem autonomicznym z wykorzystaniem informacji wizyjnej i detekcyjno-segmentacyjnej konwolucyjnej sieci neuronowej
Opiekun: dr inż. Tomasz Kryjak

Sylwia_Kuros_eve_s

Sylwia Kuros

inż.

Temat pracy magisterskiej: Klasyfikacja obiektów z wykorzystaniem głębokich i kwantowych sieci neuronowych
Opiekun: dr inż. Tomasz Kryjak

Jacek_Lichwa_eve_s

Jacek Lichwa

inż.

Temat pracy magisterskiej: Klasyfikacja znaków drogowych na podstawie danych zdarzeniowych z wykorzystaniem konwolucyjnych impulsowych sieci neuronowych
Opiekun: dr inż. Tomasz Kryjak

DSC_0595

Paweł Miera

inż.

Temat pracy magisterskiej: Nawigacja dronem na podstawie informacji wizyjnej w środowisku pozbawionym sygnału GPS
Opiekun: dr inż. Tomasz Kryjak

tomasz_moleda_eve_s

Tomasz Molęda

inż.

Temat pracy magisterskiej: Platforma testowa o niskim opóźnieniu wykorzystująca akcelerację przetwarzania sygnałów w układzie FPGA
Opiekun: dr inż. Tomasz Kryjak

Dawid_Skoczny eve_s

Dawid Skoczny

inż.

Temat pracy magisterskiej: Implementacja systemu generowania widoku 3D na podstawie obrazu z wielu kamer na platformie sprzętowej
Opiekun: dr inż. Tomasz Kryjak

kamil_wrzesniak_evs_s

Kamil Wrześniak

inż.

Temat pracy magisterskiej: Detekcja i rozpoznawanie sygnalizacji świetlnej na podstawie danych wizyjnych i zdarzeniowych
Opiekun: dr inż. Tomasz Kryjak

Prace inżynierskie

Maciej_Baczmanski_eve_s

Maciej Baczmański

Temat pracy inżynierskiej: Detekcja obiektów z wykorzystaniem czujników wizyjnych i głębi oraz platformy eGPU NVIDIA Jetson
Opiekun: dr inż. Tomasz Kryjak

Mariusz_Grabowski_eve_s

Mariusz Grabowski

Temat pracy inżynierskiej: Implementacja sprzętowa rektyfikacji i obliczania map dysparycji metodą SGM dla strumienia wizyjnego o rozdzielczości 4K
Opiekun: dr inż. Tomasz Kryjak

Kamil_Jeziorek_eve_s

Kamil Jeziorek

Temat pracy inżynierskiej: Detekcja i rozpoznawanie znaków drogowych z wykorzystaniem rekonstrukcji obrazów z kamery zdarzeniowej
Opiekun: dr inż. Tomasz Kryjak

Balibna_Molerus_eve_s

Balbina Molerus

Temat pracy inżynierskiej: Segmentacja jezdni i detekcja wybranych znaków poziomych przy użyciu czujnika wizyjnego oraz platformy eGPU NVIDIA Jetson
Opiekun: dr inż. Tomasz Kryjak

Wojciech_Pelka_eve_s

Wojciech Pełka

Temat pracy inżynierskiej: Detekcja i rozpoznawanie znaków drogowych z wykorzystaniem kamery zdarzeniowej
Opiekun: dr inż. Tomasz Kryjak

Jakub_Prokop_eve_s

Jakub Prokop

Temat pracy inżynierskiej: Klasyfikacja obrazów z wykorzystaniem grafowych sieci neuronowych
Opiekun: dr inż. Tomasz Kryjak

krzysztof_słomski_eve_s

Krzysztof Słomski

Temat pracy inżynierskiej: Optymalizacja czasowa lotu drona wyścigowego po zamkniętym torze z wykorzystaniem uczenia ze wspomaganiem
Opiekun: dr inż. Tomasz Kryjak

Robert_Synoczek_eve_s

Robert Synoczek

Temat pracy inżynierskiej: Wbudowany system do segmentacji i detekcji obiektów zrealizowany na platformie Zynq SoC
Opiekun: dr inż. Tomasz Kryjak

karol_talaga_2_evs_s

Karol Talaga

Temat pracy inżynierskiej: Wykrywanie, rozpoznawanie i śledzenie obiektów na boisku piłkarskim z wykorzystaniem systemu wizyjnego
Opiekun: dr inż. Tomasz Kryjak

PUBLIKACJE (2018-2022)
GRANTY

Granty zewnętrzne:

  • 2020-2022 – „Opracowanie rozwiązań wykorzystujących nowoczesne czujniki wizyjne  (kamery zdarzeniowe) dla zastosowań związanych z autonomicznymi, bezzałogowymi pojazdami latającymi” (The development of solutions using modern vision sensors (event cameras) for applications related to autonomous, unmanned aerial vehicles) – projekt w ramach tzw. grantu uczelnianego Inicjatywa Doskonałości – Uczelnia Badawcza. Kierownik: Marek Gorgoń, Wykonawcy: Zespół EVS.
  • 2017-2021 – “Opracowanie sposobu organizacji obliczeń w heterogenicznych układach rekonfigurowalnych najnowszej generacji umożliwiającego przetwarzanie strumienia wizyjnego UHD/4K w czasie rzeczywistym (The development of computing resources organization in latest generation of heterogeneous reconfigurable devices enabling real-time processing of UHD/4K video stream)” – grant no. 2016/23/D/ST6/01389, Narodowe Centrum Nauki (Sonata 12). Kierownik: Tomasz Kryjak, Wykonawcy: Dominika Przewłocka, Marcin Kowalczyk, Piotr Janus, Krzysztof Błachut, Hubert Szolc, Mateusz Wąsala, Piotr Ciarach.
  • 2015-2016 – “A functional model of a machine with a vision system for scarification and evaluation acorns liveness based on automatic recognition of the topography of mummification changes” – National Center for Research and Development project, part of the Applied Research Program. Wykonawcy: Marek Gorgoń, Tomasz Kryjak.
  • 2011-2013 –  „Reconfigurable implementation of hardware modules for processing and analysis of complex video signals”, grant no. 2011/01/N/ST7/06687, National Science Centre Poland (Preludium). Kierownik: Tomasz Kryjak
  • 2011-2013 – „Intelligent surveillance system for space and objects of particular importance – SIMPOZ” – grant no. 0128/R/t00/2010/12, Ministry of Science and Higher Education of the Republic of Poland. Wykonawcy: Marek Gorgoń, Tomasz Kryjak

Granty dla młodych naukowców:

  • 2021 – „Klasyfikacja znaków drogowych z wykorzystaniem impulsowych sieci neuronowych dla danych z kamer zdarzeniowej i klasycznej”, Kierownik: Dominika Przewłocka-Rus
  • 2021 – „Sprzętowa akceleracja klasycznych algorytmów sterowania bezzałogowym pojazdem latającym na potrzeby wyścigów dronów autonomicznych”, Kierownik: Hubert Szolc
  • 2021 – „Akceleracja głębokich sieci neuronowych do detekcji samochodów w chmurze punktów LiDAR na platformie heterogenicznej”, Kierownik: Joanna Stanisz
  • 2021 – „Detekcja pojazdów i ich wzajemnego położenia z perspektywy bezzałogowego pojazdu latającego celem ewaluacji systemów percepcji pojazdu autonomicznego”, Kierownik: Krzysztof Błachut
  • 2021 – „Implementacja impulsowych sieci neuronowych do percepcji otoczenia w chmurach punktów LiDAR”, Kierownik: Konrad Lis
  • 2021 – „Sprzętowa akceleracja algorytmów wizyjnego śledzenia obiektów opartych o filtry korelacyjne”, Kierownik: Michał Daniłowicz
  • 2021 – „Śledzenie obiektów szybko poruszających się za pomocą kamery zdarzeniowej i klasycznej – porównanie”, Kierownik: Marcin Kowalczyk
  • 2021 – „Wykorzystanie głębokich sieci neuronowych do wyznaczenia pozycji i orientacji bezzałogowego pojazdu latającego w przestrzeni – porównanie z metodami klasycznymi”, Kierownik: Mateusz Wąsala
  • 2020 – „Śledzenie obiektów z wykorzystaniem algorytmów bazujących na filtrze korelacyjnym”, Kierownik: Marcin Kowalczyk
  • 2020 –  „Śledzenie obiektów za pomocą syjamskich sieci neuronowych”, Kierwonik: Dominika Przewłocka-Rus
  • 2020 –  „Śledzenie obiektów przez detekcję z wykorzystaniem głębokich konwolucyjnych sieci neuronowych”, Kierownik: Tomasz Kryjak
  • 2019 – „Opracowanie architektury programowo-sprzętowej dla zadania detekcji i rozpoznawania znaków drogowych z użyciem głębokich konwolucyjnych sieci”, Kierownik: Dominika Przewłocka
  • 2019 – „Analiza i sprzętowo-programowa implementacja algorytmów detekcji przeszkód dla pojazdu autonomicznego”, Kierownik: Marcin Kowalczyk,
  • 2019 – „Opracowanie architektury sprzętowo-programowej dla zadania detekcji i rozpoznawania sygnalizacji świetlnej dla potrzeb pojazdów autonomicznych i systemów wspomagania kierowcy”, Kierownik: Tomasz Kryjak
  • 2018 – „Hardware implementation of algorithms for detection and classification of objects based on the analysis of data from the LIDAR sensor” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.712. Kierownik: Tomasz Kryjak
  • 2017 – „Hardware implementation of algorithms for detection and re-identification of persons as well as detection of abandoned luggage in an advanced, automatic video monitoring system” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.623. Kierownik: Tomasz Kryjak
  • 2016 – „Hardware implementation of selected objects segmentation algorithms in reconfigurable FPGAs, heterogeneous Zynq SoC and programmable GPGPU GPUs” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.879. Kierownik: Tomasz Kryjak
  • 2015 – „The use of heterogeneous computing platforms in object tracking task for video processing systems” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.476. Kierownik: Tomasz Kryjak
  • 2014 – „The use of heterogeneous computing platforms in object classification task for video processing systems” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant, 2014. Project number:  15.11.120.406. Kierownik: Tomasz Kryjak
  • 2013 – „Heterogeneous computing systems evaluation in object detection and recognition” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Projekt number: 15.11.120.330. Kierownik: Tomasz Kryjak
  • 2012 – „The use of 3D information and thermal imaging in advanced video surveillance systems” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number:  15.11.120.231. Kierownik: Tomasz Kryjak
WSPÓŁPRACA

2019.03.31 – 2019.10.31 –  Project: Analysis of the possibilities of using SLAM technology based on visual information for positioning of an autonomous vehicle. Company ABB Ltd, Warszawa/Kraków, Poland. Kierownik: Tomasz Kryjak, Wykonawcy: Marcin Kowalczyk, Krzysztof Błachut, Hubert Szolc, Mateusz Wąsala.

2018.11.15 – 2019.04.30 – Projects: Analysis of the possibilities of automation of the process of reading cassette tests results and ELISA tests (holes plate tests). Implementation of a C++ application using the OpenCV library version 4.X that automates the process of reading the results of cassette tests (part A) and ELISA tests (plate plate tests) (part B). Company: ABERIT, Rzeszów, Poland. Kierownik projektu: Tomasz Kryjak. Wykonawca: Domnika Przewłocka.

2017.09.11 – 2018.08.08 – Project: Model of the Witrak videotracker (in FPGA). Company PCO Ltd. Warszawa, Poland. Kierownik: Marek Gorgoń. Wykonawcy: Tomasz Kryjak, Marcin Kowalczyk