Zespół Wbudowanych Systemów Wizyjnych (Embedded Vision Systems – EVS) działa w ramach Laboratorium Systemów Wizyjnych, Katedry Automatyki i Robotyki na Wydziale Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej (EAIiIB), Akademii Górniczo-Hutniczej im. Stanisława Staszica w Krakowie.
Prowadzimy badania nad implementacją różnego rodzaju systemów wizyjnych, które mogę działać w czasie rzeczywistym nawet dla strumienia wizyjnego o wysokiej rozdzielczości i próbkowaniu – do UHD (3840 x 2160 @ 60 fps) – przy zachowaniu niewielkiego zużycia energii. Jako platformy sprzętowe wykorzystujemy układy reprogramowalne FPGA (ang. Field Programmable Gate Array), reprogramowalne układy SoC (ang. System on Chip) np. Zynq SoC, Zynq UltraScale+ MPSoC (ang. Multi Processor System on Chip), czy rozwiązania typu embedded GPU (ang. Graphic Processing Unit) np. serię Jetson firmy Nvidia. Interesujemy się także platformami neuromorficznymi (np. Intel Loihi) oraz obserwujemy rozwój komputerów kwantowych.
Systemy takie znajdują zastosowanie w aplikacjach wymagających bardzo szybkiego i wydajnego przetwarzania danych wizyjnych tak, aby pozyskana z nich informacja mogła być niemal natychmiast wykorzystana do wspomagania podejmowania decyzji lub sterowania aplikacją. Prowadzone obecnie badania skupiają się w następujących obszarach:
– sterowanie autonomicznych, bezzałogowych pojazdów latających (dronów, UAV, UAS),
– algorytmów wizyjnych dla pojazdów autonomicznych (ang. self-driving cars) i zaawansowanych systemów wspomagania kierowcy (ADAS – ang. Advanced Driver Assistance Systems),
– śledzenia obiektów i określenia ich trajektorii ruchu,
– wykorzystania danych z czujnika LiDAR do detekcji obiektów i tworzenia mapy otoczenia,
– segmentacji obiektów pierwszoplanowych i ruchomych, a także elementów zaawansowanych systemów monitoringu wizyjnego (AVSS – ang. Advanced Video Surevillance Systems),
– implementacji wbudowanych metod sztucznej inteligencji (ang. embedded AI) – głębokich konwolucyjnych sieci neuronowych oraz sieci impulsowych.
Członkowie grupy współtworzą od 2011 roku międzynarodową konferencję DASIP (The Conference on Design and Architectures for Signal and Image Processing) współdziałając m.in. z naukowcami z Niemiec, Francji, Włoch, Hiszpanii, Portugalii i Kanady. Publikujemy też na konferencjach ARC (International Symposium on Applied Reconfigurable Computing ), DSD (Digital System Design)) oraz ICCVG (International Conference on Computer Vision and Graphics), SPA (Signal Processing Algorithms, Archtectures, Arrangements and Applications), KKA (Krajowa Konferencja Automatyki), FedCSIS (Federated Conference on Computer Science and Information Systems) oraz w czasopismach Journal of Real-Time Image Processing, Journal of Signal Processing i Sensors.
Pracownicy zespołu prowadzą dydaktykę z przedmiotów: Przetwarzanie Obrazów Cyfrowych (Digital Image Processing and Vision Systems), Systemy Rekonfigurowalne, Programowanie strukturalne i obiektowe, Zaawansowane programowanie obiektowe, Algorytmy i struktury danych, Architektury systemów wizyjnych, Metody kompresji i kodowania obrazów, Programowo-sprzętowa realizacja algorytmów (Hardware-Software Vision Systems), Systemy i algorytmy percepcji w pojazdach autonomicznych, Obliczenia równoległe w CUDA, Biometrics oraz HLS tools. Corocznie, w efekcie współpracy pracowników i studentów powstaje kilka prac inżynierskich i magisterskich. Ponadto przy naszym zespole działa Studenckie Koło Naukowego AVADER, który skupia studentów zainteresowanych wbudowanymi systemami wizyjnymi, dronami i pojazdami autonomicznymi.
PRACOWNICY ZESPOŁU
Tomasz Kryjak
Interesuję się wbudowanymi systemami wizyjnymi dla pojazdów autonomicznych, dronów i zaawansowanego automatycznego monitoringu wizyjnego. Implementuję je w układach FPGA oraz programowalnych, heterogenicznych układach obliczeniowych. Zajmuje się również kamerami zdarzeniowymi, obliczeniami neuromorficznymi oraz wbudowanymi systemami AI.
Marek Gorgoń
Specjalizuję się w zagadnieniach architektur systemów wizyjnych, ze szczególnym uwzględnieniem systemów czasu rzeczywistego, układów rekonfigurowalnych FPGA oraz systemów wbudowanych i inteligentnych. Szerzej, moje zainteresowania obejmują wiele zagadnień z obszarów automatyki i robotyki, elektroniki i informatyki stosowanej. Jestem autorem 120 publikacji naukowych.
Zbigniew Bubliński
Interesuję się optymalizacją algorytmów cyfrowego przetwarzania i analizy obrazów oraz wbudowanymi systemami wizyjnymi. Prowadzę zajęcia z zakresu systemów wizyjnych i wbudowanych systemów wizyjnych.
Piotr Pawlik
Interesuję się analizą i przetwarzaniem obrazów ze szczególnym uwzględnieniem tematyki punktów charakterystycznych. Prowadzę zajęcia z przedmiotów informatycznych oraz systemów wizyjnych.
Marcin Kowalczyk
Moje zainteresowania skupione są wokół systemów wizyjnych czasu rzeczywistego dla robotów autonomicznych. W badaniach wykorzystuję heterogeniczne platformy obliczeniowe oraz wysokopoziomowe środowiska umożliwiające modelowanie algorytmów i projektowanych systemów. Moje badania dotyczą również wykorzystania neuromorficznych czujników zdarzeniowych w nowoczesnych systemach przetwarzania danych wizyjnych, które wymagają opracowania nowych metod przetwarzania danych.
Hubert Szolc
Interesuję się sterowaniem pojazdami autonomicznymi w oparciu przede wszystkim o informację wizyjną. Do implementacji sprzętowej przygotowanych algorytmów wykorzystuję układy FPGA oraz heterogeniczne platformy obliczeniowe.
Mateusz Wąsala
Interesuję się wbudowanymi systemami wizyjnymi, w szczególności algorytmami SLAM do generowania mapy otoczenia oraz pozycjonowania bezzałogowych pojazdów latających. Zajmuję się również projektowaniem i budową elementów wyposażenia przeznaczonych do tych pojazdów.
Krzysztof Błachut
Moje zainteresowania naukowe obejmują wbudowane systemy wizyjne w latających i jeżdżących pojazdach autonomicznych oraz w systemach monitoringu wizyjnego. Do ich realizacji wykorzystuję heterogeniczne platformy obliczeniowe, ze szczególnym uwzględnieniem układów FPGA.
Michał Daniłowicz
Interesują mnie systemy sterowania oparte o wizję komputerową i sztuczną inteligencję, w szczególności detekcja oraz śledzenie obiektów. Badam możliwość ich implementacji w platformach takich jak GPU i FPGA.
Piotr Wzorek
Interesują mnie systemy wizyjne, zagadnienia głębokich sieci neuronowych oraz inne algorytmy sztucznej inteligencji. Zajmuję się ich akceleracją sprzętową na platformach wbudowanych, GPU oraz FPGA.
Kamil Jeziorek
Zainteresowania moje skupiają się na systemach wizyjnych, które wykorzystują kamery zdarzeniowe oraz metody oparte na głębokich sieciach neuronowych. Pracuję nad zbadaniem potencjału implementacji takich technik jak Grafowe Sieci Konwolucyjne i Transformery Wizyjne na różnych platformach obliczeniowych, ze szczególnym naciskiem na układy SoC FPGA.
Granty zewnętrzne:
- 2026-2028 – “EEVONN: Wbudowana odometria wizyjna wykorzystująca sieci neuronowe oraz dane zdarzeniowe” (EEVONN: Embedded Event-Based Visual Odometry Using Neural Networks), Narodowe Centrum Nauki (Preludium). Kierownik: Mateusz Wąsala.
- 2025-2028 – “K+Z: Poprawa percepcji poprzez integrację kamer klatkowych i zdarzeniowych” (K+Z: Improving Perception through the Integration of Frame and Event Cameras)”, Narodowe Centrum Nauki (Preludium). Kierownik: Kamil Jeziorek.
- 2025-2028 – “Projektowanie sieci neuronowych do detekcji obiektów na podstawie danych zdarzeniowych z uwzględnieniem docelowej platformy sprzętowej” (Hardware-Aware Neural Network Design for Event-Based Object Detection), Narodowe Centrum Nauki (Preludium). Kierownik: Piotr Wzorek.
- od 2024 – “Integracja wnioskowania, uczenia się, optymalizacji i interpretacji w celu przyspieszonej komercjalizacji inteligentnych systemów oprogramowania nowej generacji” – projekt finansowany w ramach konkursu ARTIQ organizowanego przez NCBR we współpracy z NCN.
- od 2023 – “Holistyczne i zintegrowane zarządzanie majątkiem w europejskim systemie kolejowym” (Holistic and Integrated Asset Management for Europe’s RAIL System) – projekt europejski EU-Rail FP3 IAM4RAIL finansowany przez Horizon Europe, nr 27.27.120.70690.
- 2021-2026 – “Akceleracja przetwarzania zdarzeniowych danych wizyjnych z wykorzystaniem heterogenicznych, reprogramowalnych układów obliczeniowych” (Acceleration of processing event-based visual data with the use of heterogeneous, reprogrammable computing devices), Narodowe Centrum Nauki (Preludium). Kierownik: Marcin Kowalczyk.
- 2020-2022 – „Opracowanie rozwiązań wykorzystujących nowoczesne czujniki wizyjne (kamery zdarzeniowe) dla zastosowań związanych z autonomicznymi, bezzałogowymi pojazdami latającymi” (The development of solutions using modern vision sensors (event cameras) for applications related to autonomous, unmanned aerial vehicles) – projekt w ramach tzw. grantu uczelnianego Inicjatywa Doskonałości – Uczelnia Badawcza. Kierownik: Marek Gorgoń, Wykonawcy: Zespół EVS.
- 2017-2021 – “Opracowanie sposobu organizacji obliczeń w heterogenicznych układach rekonfigurowalnych najnowszej generacji umożliwiającego przetwarzanie strumienia wizyjnego UHD/4K w czasie rzeczywistym (The development of computing resources organization in latest generation of heterogeneous reconfigurable devices enabling real-time processing of UHD/4K video stream)” – grant no. 2016/23/D/ST6/01389, Narodowe Centrum Nauki (Sonata 12). Kierownik: Tomasz Kryjak, Wykonawcy: Dominika Przewłocka, Marcin Kowalczyk, Piotr Janus, Krzysztof Błachut, Hubert Szolc, Mateusz Wąsala, Piotr Ciarach.
- 2015-2016 – “A functional model of a machine with a vision system for scarification and evaluation acorns liveness based on automatic recognition of the topography of mummification changes” – National Center for Research and Development project, part of the Applied Research Program. Wykonawcy: Marek Gorgoń, Tomasz Kryjak.
- 2011-2013 – „Reconfigurable implementation of hardware modules for processing and analysis of complex video signals”, grant no. 2011/01/N/ST7/06687, National Science Centre Poland (Preludium). Kierownik: Tomasz Kryjak
- 2011-2013 – „Intelligent surveillance system for space and objects of particular importance – SIMPOZ” – grant no. 0128/R/t00/2010/12, Ministry of Science and Higher Education of the Republic of Poland. Wykonawcy: Marek Gorgoń, Tomasz Kryjak