Zespół Wbudowanych Systemów Wizyjnych

    Facebook Linkedin Youtube

    Zespół Wbudowanych Systemów Wizyjnych (Embedded Vision Systems – EVS) działa w ramach Laboratorium Systemów Wizyjnych, Katedry Automatyki i Robotyki na Wydziale Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej (EAIiIB), Akademii Górniczo-Hutniczej im. Stanisława Staszica w Krakowie.

    Prowadzimy badania nad implementacją różnego rodzaju systemów wizyjnych, które mogę działać w czasie rzeczywistym nawet dla strumienia wizyjnego o wysokiej rozdzielczości i próbkowaniu – do UHD (3840 x 2160 @ 60 fps) – przy zachowaniu niewielkiego zużycia energii. Jako platformy sprzętowe wykorzystujemy układy reprogramowalne FPGA (ang. Field Programmable Gate Array), reprogramowalne układy SoC (ang. System on Chip) np. Zynq SoC, Zynq UltraScale+ MPSoC (ang. Multi Processor System on Chip), czy rozwiązania typu embedded GPU (ang. Graphic Processing Unit) np. serię Jetson firmy Nvidia. Interesujemy się także platformami neuromorficznymi (np. Intel Loihi) oraz obserwujemy rozwój komputerów kwantowych.

    Systemy takie znajdują zastosowanie w aplikacjach wymagających bardzo szybkiego i wydajnego przetwarzania danych wizyjnych tak, aby pozyskana z nich informacja mogła być niemal natychmiast wykorzystana do wspomagania podejmowania decyzji lub sterowania aplikacją. Prowadzone obecnie badania skupiają się w następujących obszarach:

    – sterowanie autonomicznych, bezzałogowych pojazdów latających (dronów, UAV, UAS),

    – algorytmów wizyjnych dla pojazdów autonomicznych (ang. self-driving cars) i zaawansowanych systemów wspomagania kierowcy (ADAS – ang. Advanced Driver Assistance Systems),

    – śledzenia obiektów i określenia ich trajektorii ruchu,

    – wykorzystania danych z czujnika LiDAR do detekcji obiektów i tworzenia mapy otoczenia,

    – segmentacji obiektów pierwszoplanowych i ruchomych, a także elementów zaawansowanych systemów monitoringu wizyjnego (AVSS – ang. Advanced Video Surevillance Systems),

    – implementacji wbudowanych metod sztucznej inteligencji (ang. embedded AI) – głębokich konwolucyjnych sieci neuronowych oraz sieci impulsowych.

    Członkowie grupy współtworzą od 2011 roku międzynarodową konferencję DASIP (The Conference on Design and Architectures for Signal and Image Processing) współdziałając m.in. z naukowcami z Niemiec, Francji, Włoch, Hiszpanii, Portugalii i Kanady. Publikujemy też na konferencjach ARC (International Symposium on Applied Reconfigurable Computing ), DSD (Digital System Design)) oraz ICCVG (International Conference on Computer Vision and Graphics), SPA (Signal Processing Algorithms, Archtectures, Arrangements and Applications), KKA (Krajowa Konferencja Automatyki), FedCSIS (Federated Conference on Computer Science and Information Systems) oraz w czasopismach Journal of Real-Time Image Processing, Journal of Signal Processing i Sensors.

     

    Pracownicy zespołu prowadzą dydaktykę z przedmiotów: Przetwarzanie Obrazów Cyfrowych (Digital Image Processing and Vision Systems), Systemy Rekonfigurowalne, Programowanie strukturalne i obiektowe, Zaawansowane programowanie obiektowe, Algorytmy i struktury danych, Architektury systemów wizyjnych, Metody kompresji i kodowania obrazów, Programowo-sprzętowa realizacja algorytmów (Hardware-Software Vision Systems), Systemy i algorytmy percepcji w pojazdach autonomicznych, Obliczenia równoległe w CUDA, Biometrics oraz HLS tools. Corocznie, w efekcie współpracy pracowników i studentów powstaje kilka prac inżynierskich i magisterskich. Ponadto przy naszym zespole działa Studenckie Koło Naukowego AVADER, który skupia studentów zainteresowanych wbudowanymi systemami wizyjnymi, dronami i pojazdami autonomicznymi.

     

    PRACOWNICY ZESPOŁU

    Marek_Grogon_evs_s

    Marek Gorgoń

    prof. dr hab. inż.
    SkOs AGH
    BPP AGH

    Specjalizuję się w zagadnieniach architektur systemów wizyjnych, ze szczególnym uwzględnieniem systemów czasu rzeczywistego, układów rekonfigurowalnych FPGA oraz systemów wbudowanych i inteligentnych. Szerzej, moje zainteresowania obejmują wiele zagadnień z obszarów automatyki i robotyki, elektroniki i informatyki stosowanej. Jestem autorem 120 publikacji naukowych.

    TomaszKryjak_evs_s

    Tomasz Kryjak

    dr inż.

    Interesuję się wbudowanymi systemami wizyjnymi dla pojazdów autonomicznych, dronów i zaawansowanego automatycznego monitoringu wizyjnego. Implementuję je w układach FPGA oraz programowalnych, heterogenicznych układach obliczeniowych. Zajmuje się również kamerami zdarzeniowymi, obliczeniami neuromorficznymi oraz wbudowanymi systemami AI.

    BPP AGH
    bublinski1

    Zbigniew Bubliński

    dr inż.

    Interesuję się optymalizacją algorytmów cyfrowego przetwarzania i analizy obrazów oraz wbudowanymi systemami wizyjnymi. Prowadzę zajęcia z zakresu systemów wizyjnych i wbudowanych systemów wizyjnych.

    BPP AGH
    P_Pawlik2

    Piotr Pawlik

    dr inż.

    Interesuję się analizą i przetwarzaniem obrazów ze szczególnym uwzględnieniem tematyki punktów charakterystycznych. Prowadzę zajęcia z przedmiotów informatycznych oraz systemów wizyjnych.

    BPP AGH
    MarcinKowalczyk_evs_s

    Marcin Kowalczyk

    mgr inż.

    Moje zainteresowania skupione są wokół systemów wizyjnych czasu rzeczywistego dla robotów autonomicznych. W badaniach wykorzystuję heterogeniczne platformy obliczeniowe oraz wysokopoziomowe środowiska umożliwiające modelowanie algorytmów i projektowanych systemów. Moje badania dotyczą również wykorzystania neuromorficznych czujników zdarzeniowych w nowoczesnych systemach przetwarzania danych wizyjnych, które wymagają opracowania nowych metod przetwarzania danych.

    BPP AGH
    HubertSzolc_evs_s

    Hubert Szolc

    mgr inż.

    Interesuję się sterowaniem pojazdami autonomicznymi w oparciu przede wszystkim o informację wizyjną. Do implementacji sprzętowej przygotowanych algorytmów wykorzystuję układy FPGA oraz heterogeniczne platformy obliczeniowe.

    BPP AGH
    dav

    Mateusz Wąsala

    mgr inż.

    Interesuję się wbudowanymi systemami wizyjnymi, w szczególności algorytmami SLAM do generowania mapy otoczenia oraz pozycjonowania bezzałogowych pojazdów latających. Zajmuję się również projektowaniem i budową elementów wyposażenia przeznaczonych do tych pojazdów.

    BPP AGH
    Krzysztof_Blachut_evs_s

    Krzysztof Błachut

    mgr inż.

    Moje zainteresowania naukowe obejmują wbudowane systemy wizyjne w latających i jeżdżących pojazdach autonomicznych oraz w systemach monitoringu wizyjnego. Do ich realizacji wykorzystuję heterogeniczne platformy obliczeniowe, ze szczególnym uwzględnieniem układów FPGA.

    Michal_Danilowicz_evs_s

    Michał Daniłowicz

    mgr inż.

    Interesują mnie systemy sterowania oparte o wizję komputerową i sztuczną inteligencję, w szczególności detekcja oraz śledzenie obiektów. Badam możliwość ich implementacji w platformach takich jak GPU i FPGA.

    Piotr_Wzorek_evs_s

    Piotr Wzorek

    mgr inż.

    Interesują mnie systemy wizyjne, zagadnienia głębokich sieci neuronowych oraz inne algorytmy sztucznej inteligencji. Zajmuję się ich akceleracją sprzętową na platformach wbudowanych, GPU oraz FPGA.

    DOKTORANCI
    DominikaPrzewlocka_evs_s

    Dominika Przewłocka-Rus

    mgr inż.

    Interesuję się rozwiązaniami sztucznej inteligencji, w szczególności wykorzystaniem sieci neuronowych we wbudowanych systemach wizyjnych. Zajmuję się implementacją takich algorytmów w układach FPGA oraz programowalnych, heterogenicznych układach obliczeniowych.

    BPP AGH
    Konrad_Lis_evs_s

    Konrad Lis

    mgr inż.

    Interesuję się wbudowanymi systemami percepcji, w szczególności przeznaczonymi dla pojazdów autonomicznych. Do implementacji algorytmów wykorzystuję układy FPGA, układy heterogeniczne oraz procesory graficzne.

    Kamil_Jeziorek_eve_s

    Kamil Jeziorek

    mgr inż.

    Zainteresowania moje skupiają się na systemach wizyjnych, które wykorzystują kamery zdarzeniowe oraz metody oparte na głębokich sieciach neuronowych. Pracuję nad zbadaniem potencjału implementacji takich technik jak Grafowe Sieci Konwolucyjne i Transformery Wizyjne na różnych platformach obliczeniowych, ze szczególnym naciskiem na układy SoC FPGA.

    BPP AGH
    PUBLIKACJE (2018-2022)
    GRANTY

    Granty zewnętrzne:

    • 2020-2022 – „Opracowanie rozwiązań wykorzystujących nowoczesne czujniki wizyjne  (kamery zdarzeniowe) dla zastosowań związanych z autonomicznymi, bezzałogowymi pojazdami latającymi” (The development of solutions using modern vision sensors (event cameras) for applications related to autonomous, unmanned aerial vehicles) – projekt w ramach tzw. grantu uczelnianego Inicjatywa Doskonałości – Uczelnia Badawcza. Kierownik: Marek Gorgoń, Wykonawcy: Zespół EVS.
    • 2017-2021 – “Opracowanie sposobu organizacji obliczeń w heterogenicznych układach rekonfigurowalnych najnowszej generacji umożliwiającego przetwarzanie strumienia wizyjnego UHD/4K w czasie rzeczywistym (The development of computing resources organization in latest generation of heterogeneous reconfigurable devices enabling real-time processing of UHD/4K video stream)” – grant no. 2016/23/D/ST6/01389, Narodowe Centrum Nauki (Sonata 12). Kierownik: Tomasz Kryjak, Wykonawcy: Dominika Przewłocka, Marcin Kowalczyk, Piotr Janus, Krzysztof Błachut, Hubert Szolc, Mateusz Wąsala, Piotr Ciarach.
    • 2015-2016 – “A functional model of a machine with a vision system for scarification and evaluation acorns liveness based on automatic recognition of the topography of mummification changes” – National Center for Research and Development project, part of the Applied Research Program. Wykonawcy: Marek Gorgoń, Tomasz Kryjak.
    • 2011-2013 –  „Reconfigurable implementation of hardware modules for processing and analysis of complex video signals”, grant no. 2011/01/N/ST7/06687, National Science Centre Poland (Preludium). Kierownik: Tomasz Kryjak
    • 2011-2013 – „Intelligent surveillance system for space and objects of particular importance – SIMPOZ” – grant no. 0128/R/t00/2010/12, Ministry of Science and Higher Education of the Republic of Poland. Wykonawcy: Marek Gorgoń, Tomasz Kryjak

    Granty dla młodych naukowców:

    • 2021 – „Klasyfikacja znaków drogowych z wykorzystaniem impulsowych sieci neuronowych dla danych z kamer zdarzeniowej i klasycznej”, Kierownik: Dominika Przewłocka-Rus
    • 2021 – „Sprzętowa akceleracja klasycznych algorytmów sterowania bezzałogowym pojazdem latającym na potrzeby wyścigów dronów autonomicznych”, Kierownik: Hubert Szolc
    • 2021 – „Akceleracja głębokich sieci neuronowych do detekcji samochodów w chmurze punktów LiDAR na platformie heterogenicznej”, Kierownik: Joanna Stanisz
    • 2021 – „Detekcja pojazdów i ich wzajemnego położenia z perspektywy bezzałogowego pojazdu latającego celem ewaluacji systemów percepcji pojazdu autonomicznego”, Kierownik: Krzysztof Błachut
    • 2021 – „Implementacja impulsowych sieci neuronowych do percepcji otoczenia w chmurach punktów LiDAR”, Kierownik: Konrad Lis
    • 2021 – „Sprzętowa akceleracja algorytmów wizyjnego śledzenia obiektów opartych o filtry korelacyjne”, Kierownik: Michał Daniłowicz
    • 2021 – „Śledzenie obiektów szybko poruszających się za pomocą kamery zdarzeniowej i klasycznej – porównanie”, Kierownik: Marcin Kowalczyk
    • 2021 – „Wykorzystanie głębokich sieci neuronowych do wyznaczenia pozycji i orientacji bezzałogowego pojazdu latającego w przestrzeni – porównanie z metodami klasycznymi”, Kierownik: Mateusz Wąsala
    • 2020 – „Śledzenie obiektów z wykorzystaniem algorytmów bazujących na filtrze korelacyjnym”, Kierownik: Marcin Kowalczyk
    • 2020 –  „Śledzenie obiektów za pomocą syjamskich sieci neuronowych”, Kierwonik: Dominika Przewłocka-Rus
    • 2020 –  „Śledzenie obiektów przez detekcję z wykorzystaniem głębokich konwolucyjnych sieci neuronowych”, Kierownik: Tomasz Kryjak
    • 2019 – „Opracowanie architektury programowo-sprzętowej dla zadania detekcji i rozpoznawania znaków drogowych z użyciem głębokich konwolucyjnych sieci”, Kierownik: Dominika Przewłocka
    • 2019 – „Analiza i sprzętowo-programowa implementacja algorytmów detekcji przeszkód dla pojazdu autonomicznego”, Kierownik: Marcin Kowalczyk,
    • 2019 – „Opracowanie architektury sprzętowo-programowej dla zadania detekcji i rozpoznawania sygnalizacji świetlnej dla potrzeb pojazdów autonomicznych i systemów wspomagania kierowcy”, Kierownik: Tomasz Kryjak
    • 2018 – „Hardware implementation of algorithms for detection and classification of objects based on the analysis of data from the LIDAR sensor” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.712. Kierownik: Tomasz Kryjak
    • 2017 – „Hardware implementation of algorithms for detection and re-identification of persons as well as detection of abandoned luggage in an advanced, automatic video monitoring system” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.623. Kierownik: Tomasz Kryjak
    • 2016 – „Hardware implementation of selected objects segmentation algorithms in reconfigurable FPGAs, heterogeneous Zynq SoC and programmable GPGPU GPUs” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.879. Kierownik: Tomasz Kryjak
    • 2015 – „The use of heterogeneous computing platforms in object tracking task for video processing systems” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.476. Kierownik: Tomasz Kryjak
    • 2014 – „The use of heterogeneous computing platforms in object classification task for video processing systems” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant, 2014. Project number:  15.11.120.406. Kierownik: Tomasz Kryjak
    • 2013 – „Heterogeneous computing systems evaluation in object detection and recognition” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Projekt number: 15.11.120.330. Kierownik: Tomasz Kryjak
    • 2012 – „The use of 3D information and thermal imaging in advanced video surveillance systems” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number:  15.11.120.231. Kierownik: Tomasz Kryjak
    WSPÓŁPRACA

    2019.03.31 – 2019.10.31 –  Project: Analysis of the possibilities of using SLAM technology based on visual information for positioning of an autonomous vehicle. Company ABB Ltd, Warszawa/Kraków, Poland. Kierownik: Tomasz Kryjak, Wykonawcy: Marcin Kowalczyk, Krzysztof Błachut, Hubert Szolc, Mateusz Wąsala.

    2018.11.15 – 2019.04.30 – Projects: Analysis of the possibilities of automation of the process of reading cassette tests results and ELISA tests (holes plate tests). Implementation of a C++ application using the OpenCV library version 4.X that automates the process of reading the results of cassette tests (part A) and ELISA tests (plate plate tests) (part B). Company: ABERIT, Rzeszów, Poland. Kierownik projektu: Tomasz Kryjak. Wykonawca: Domnika Przewłocka.

    2017.09.11 – 2018.08.08 – Project: Model of the Witrak videotracker (in FPGA). Company PCO Ltd. Warszawa, Poland. Kierownik: Marek Gorgoń. Wykonawcy: Tomasz Kryjak, Marcin Kowalczyk