Polska wersja strony
English version of the website

Zespół Wbudowanych Systemów Wizyjnych (Embedded Vision Systems – EVS) działa w ramach Laboratorium Systemów Wizyjnych, Katedry Automatyki i Robotyki na Wydziale Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej (EAIiIB), Akademii Górniczo-Hutniczej im. Stanisława Staszica w Krakowie.

Prowadzimy badania nad implementacją różnego rodzaju systemów wizyjnych, które mogę działać w czasie rzeczywistym nawet dla strumienia wizyjnego o wysokiej rozdzielczości i próbkowaniu – do UHD (3840 x 2160 @ 60 fps) – przy zachowaniu niewielkiego zużycia energii. Jako platformy sprzętowe wykorzystujemy układy reprogramowalne FPGA (ang. Field Programmable Gate Array), reprogramowalne układy SoC (ang. System on Chip) np. Zynq SoC, Zynq UltraScale+ MPSoC (ang. Multi Processor System on Chip), czy rozwiązania typu embedded GPU (ang. Graphic Processing Unit) np. serię Jetson firmy Nvidia. Interesujemy się także platformami neuromorficznymi.

Systemy takie znajdują zastosowanie w aplikacjach wymagających bardzo szybkiego i wydajnego przetwarzania danych wizyjnych tak, aby pozyskana z nich informacja mogła być niemal natychmiast wykorzystana do wspomagania podejmowania decyzji lub sterowania aplikacją. Prowadzone obecnie badania skupiają się w następujących obszarach:

– sterowanie autonomicznych, bezzałogowych pojazdów latających (dronów, UAV, UAS),

– algorytmów wizyjnych dla pojazdów autonomicznych (ang. self-driving cars) i zaawansowanych systemów wspomagania kierowcy (ADAS – ang. Advanced Driver Assistance Systems),

śledzenia obiektów i określenia ich trajektorii ruchu,

– wykorzystania danych z czujnika LiDAR do detekcji obiektów i tworzenia mapy otoczenia,

– segmentacji obiektów pierwszoplanowych i ruchomych, a także elementów zaawansowanych systemów monitoringu wizyjnego (AVSS – ang. Advanced Video Surevillance Systems),

– implementacji wbudowanych metod sztucznej inteligencji (ang. embedded AI) – głębokich konwolucyjnych sieci neuronowych oraz sieci impulsowych.

Członkowie grupy współtworzą od 2011 roku międzynarodową konferencję DASIP (The Conference on Design and Architectures for Signal and Image Processing) współdziałając m.in. z naukowcami z Niemiec, Francji, Włoch, Hiszpanii, Portugalii i Kanady. Publikujemy też na konferencjach ARC (International Symposium on Applied Reconfigurable Computing ) oraz ICCVG (International Conference on Computer Vision and Graphics), SPA (Signal Processing Algorithms, Archtectures, Arrangements and Applications), KKA (Krajowa Konferencja Automatyki), FedCSIS (Federated Conference on Computer Science and Information Systems) oraz w czasopismach Journal of Real-Time Image Processing, Journal of Signal Processing i Sensors.


Pracownicy zespołu prowadzą dydaktykę z przedmiotów: Przetwarzanie Obrazów Cyfrowych (Digital Image Processing and Vision Systems), Systemy Rekonfigurowalne, Programowanie strukturalne i obiektowe, Zaawansowane programowanie obiektowe, Algorytmy i struktury danych, Architektury systemów wizyjnych, Metody kompresji i kodowania obrazów, Programowo-sprzętowa realizacja algorytmów (Hardware-Software Vision Systems), Systemy i algorytmy percepcji w pojazdach autonomicznych, Obliczenia równoległe w CUDA, Biometrics oraz HLS tools. Corocznie, w efekcie współpracy pracowników i studentów powstaje kilka prac inżynierskich i magisterskich. Ponadto przy naszym zespole działa Studenckie Koło Naukowego AVADER, który skupia studentów zainteresowanych wbudowanymi systemami wizyjnymi, dronami i pojazdami autonomicznymi.

 

PRACOWNICY ZESPOŁU

MarekGorgon_evs

Marek Gorgoń

prof. dr hab. inż.

Marek Gorgon received MSc, Ph.D. and D.Sc. (habilitation) from AGH University of Science and Technology in Krakow, Poland. From 1994 onwards permanent position at the Department of Automatics and Biomedical Engineering of the AGH-UST, currently Associate Professor. His research interests include: image processing, software–hardware co design, reconfigurable devices, embedded systems and applications. He is a Senior Member of IEEE, ECSI Member and AGH-UST Senate Member. He serves for the International Program Committees of DASIP, ReConFig and ERSA. He is an author of two monographs, and 90 journal and conference papers and reports. He is an author of two monographs, and 90 journal and conference papers and reports.

TomaszKryjak_evs_s

Tomasz Kryjak

dr inż.

Interesuję się wbudowanymi systemami wizyjnymi dla pojazdów autonomicznych, dronów i zaawansowanego automatycznego monitoringu wizyjnego. Implementuję je w układach FPGA oraz programowalnych, heterogenicznych układach obliczeniowych.

DominikaPrzewlocka_evs_s

Dominika Przewłocka

mgr inż.

Interesuję się rozwiązaniami sztucznej inteligencji, w szczególności wykorzystaniem sieci neuronowych we wbudowanych systemach wizyjnych. Zajmuję się implementacją takich algorytmów w układach FPGA oraz programowalnych, heterogenicznych układach obliczeniowych

MarcinKowalczyk_evs_s

Marcin Kowalczyk

mgr inż.

Moje zainteresowania skupione są wokół systemów wizyjnych czasu rzeczywistego dla robotów autonomicznych, ze szczególnym uwzględnieniem śledzenia obiektów. W pracy wykorzystuję heterogeniczne platformy obliczeniowe oraz wysokopoziomowe środowiska umożliwiające modelowanie algorytmów i projektowanych systemów.

DOKTORANCI
Krzysztof_Blachut_evs_s

Krzysztof Błachut

mgr inż.

Moje zainteresowania naukowe obejmują wbudowane systemy wizyjne w latających i jeżdżących pojazdach autonomicznych oraz w systemach monitoringu wizyjnego. Do ich realizacji wykorzystuję heterogeniczne platformy obliczeniowe, ze szczególnym uwzględnieniem układów FPGA.

HubertSzolc_evs_s

Hubert Szolc

mgr inż.

Interesuję się sterowaniem pojazdami autonomicznymi w oparciu przede wszystkim o informację wizyjną. Do implementacji sprzętowej przygotowanych algorytmów wykorzystuję układy FPGA oraz heterogeniczne platformy obliczeniowe.

dav

Mateusz Wąsala

mgr inż.

Interesuję się wbudowanymi systemami wizyjnymi, w szczególności sterowaniem i generowaniem trajektorii autonomicznych dronów. Zajmuję się również projektowaniem i budową elementów wyposażenia przeznaczonych do tych pojazdów.

Piotr_Janus_evs_s

Piotr Janus

mgr inż.

Głównym obszarem moich zainteresowań są systemy wizyjne realizujące segmentację obiektów pierwszoplanowych. Implementuje je głównie w układach FPGA oraz na procesorach graficznych wykorzystując architekturę CUDA.

PiotrKonopka_evs_s

Piotr Konopka

mgr inż.

Prace inżynierską i magisterską zrealizowałem w tematyce wbudowanych systemów wizyjnych jako członek SKN AVADER. Obecnie, jako doktorant, reprezentuję uczelnię w CERN, gdzie pracuję nad systemem akwizycji i przetwarzania danych dla eksperymentu ALICE.

Joanna_Stanisz_evs_s

Joanna Stanisz

mgr inż.

Moje zainteresowania obejmują detekcję obiektów i segmentację na podstawie danych z czujników wizyjnych oraz czujnika LiDAR. Implementację opracowanych algorytmów opieram o układy FPGA oraz procesory graficzne.

Konrad_Lis_evs_s

Konard Lis

mgr inż.

Interesuję się wbudowanymi systemami percepcji, w szczególności przeznaczonymi dla pojazdów autonomicznych. Do implementacji algorytmów wykorzystuję układy FPGA, układy heterogeniczne oraz procesory graficzne.

Michal_Danilowicz_evs_s

Michał Daniłowicz

mgr inż.

Interesują mnie systemy sterowania oparte o wizję komputerową i sztuczną inteligencję, w szczególności detekcja oraz śledzenie obiektów. Badam możliwość ich implementacji w platformach takich jak GPU i FPGA.

DYPLOMANCI
Anna_Kulińska_evs_s

Anna Kulińska

inż.

Temat pracy magisterskiej: ATLAS Local Trigger Interface – rozwój implementacji sprzętowej, weryfikacja oraz testy.
Opiekun: dr inż. Tomasz Kryjak

Michal_Machura_20_21_evs_s

Michał Machura

inż.

Temat pracy magisterskiej: Detekcja obiektów w wykorzystaniem głębokich sieci neuronowych zrealizowana na wbudowanej platformie obliczeniowej
Opiekun: dr inż. Tomasz Kryjak

Maciej_Talar_evs_s

Maciej Talar

inż.

Temat pracy magisterskiej: Symulacja “hardware-in-the-loop” na potrzeby weryfikacji aplikacji przeznaczonych dla bezzałogowych statków powietrznych.
Opiekun: dr inż. Tomasz Kryjak

Konrad_Wajda_20_21_evs_s

Konrad Wajda

inż.

Temat pracy magisterskiej: Rekonstrukcja informacji 3D przy użyciu kamery zdarzeniowej
Opiekun: dr inż. Tomasz Kryjak

Jakub_Wozniak_evs_s

Jakub Woźniak

inż.

Temat pracy magisterskiej: Detekcja obiektów z wykorzystaniem kamery zdarzeniowej
Opiekun: dr inż. Tomasz Kryjak

Piotr_Wzorek_evs_s

Piotr Wzorek

inż.

Temat pracy magisterskiej: Automatyczna rejestracja przebiegu gry w brydża sportowego
Opiekun: dr inż. Tomasz Kryjak

PUBLIKACJE (2018-2020)
  • Kowalczyk, M., Ciarach, P., Przewlocka-Rus, D. Szolc H., Kryjak T. (2021): Real-Time FPGA Implementation of Parallel Connected Component Labelling for a 4K Video Stream, Journal of Signal Processing Systems, Springer
  • Blachut K., Danilowicz, M., Szolc, H., Wasala, M., Kryjak, T., Pankiewicz, N. Komorkiewicz, M. (2021), Automotive perception system evaluation with reference data obtained by a UAV, DASIP ’21: Workshop on Design and Architectures for Signal and Image Processing (14th edition), 20 January 2021, Budapest, Hungary.
  • Stanisz, J., Lis, K., Kryjak, T., Gorgon, M. (2021), Hardware-software implementation of the PointPillars network for 3D object detection in point clouds, DASIP ’21: Workshop on Design and Architectures for Signal and Image Processing (14th edition), 20 January 2021, Budapest, Hungary.
  • Janus P., Kryjak T., Gorgon M. (2020). Foreground Object Segmentation in RGB–D Data Implemented on GPU, Advanced, Contemporary Control : Proceedings of KKA 2020 – the 20th Polish Control Conference, 14-16 October, 2020, Łódź, Poland
  • Ciarach, P., Kowalczyk, M., Przewlocka, D., & Kryjak, T. (2019). Real-Time FPGA Implementation of Connected Component Labelling for a 4K Video Stream. In C. Hochberger, B. Nelson, A. Koch, R. Woods, & P. Diniz (Eds.), Applied Reconfigurable Computing (pp. 165–180). Cham: Springer International Publishing.
  • Przewlocka, D., Kowalczyk, M., & Kryjak, T. (2019). XNOR CNNs in FPGA: real-time detection and classification of traffic signs in 4K – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://dasip-conference.org/wp-content/uploads/sites/2/2019/10/DASIP2019_paper_34.pdf
  • Kowalczyk, M., Przewlocka, D., & Kryjak, T. (2019). Real-time implementation of adaptive correlation filter tracking for 4K video stream – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://dasip-conference.org/wp-content/uploads/sites/2/2019/10/DASIP2019_paper_33.pdf
  • Stanisz, J., Lis, K., Kryjak, T., & Gorgon, M. (2019). Hardware-software implementation of car detection system based on LiDAR sensor data – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://dasip-conference.org/wp-content/uploads/sites/2/2019/10/DASIP2019_paper_30.pdf
  • Radwan, K., & Kryjak, T. (2019). Hardware implementation of the SURF feature detector for 4K 4PPC video stream – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://dasip-conference.org/wp-content/uploads/sites/2/2019/10/DASIP2019_paper_35.pdf
  • Kucharski, D., Kleczek, P., Jaworek-Korjakowska, J., Dyduch, G., & Gorgon, M. (2020). Semi-supervised nests of melanocytes segmentation method using convolutional autoencoders. Sensors (Switzerland), 20(6). https://doi.org/10.3390/s20061546
  • Kleczek, P., Jaworek-Korjakowska, J., & Gorgon, M. (2020). A novel method for tissue segmentation in high-resolution H&E-stained histopathological whole-slide images. Computerized Medical Imaging and Graphics, 79. https://doi.org/10.1016/j.compmedimag.2019.101686
  • Jaworek-Korjakowska, J., Kleczek, P., & Gorgon, M. (2019). Melanoma thickness prediction based on convolutional neural network with VGG-19 model transfer learning. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, 2019-June, 2748–2756. https://doi.org/10.1109/CVPRW.2019.00333
  • Piszczek, K., Janus, P., & Kryjak, T. (2018). The use of HACP+SBT lossless compression in optimizing memory bandwidth requirement for hardware implementation of background modelling algorithms. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 10824 LNCS, 379–391. https://doi.org/10.1007/978-3-319-78890-6_31
  • Kowalczyk, M., Przewlocka, D., & Krvjak, T. (2018). Real-Time Implementation of Contextual Image Processing Operations for 4K Video Stream in Zynq UltraScale+ MPSoC. Conference on Design and Architectures for Signal and Image Processing, DASIP, 2018-October, 37–42. https://doi.org/10.1109/DASIP.2018.8597105
  • Kryjak, T., Komorkiewicz, M., & Gorgon, M. (2018). Real-time hardware–software embedded vision system for ITS smart camera implemented in Zynq SoC. Journal of Real-Time Image Processing, 15(1), 123–159. https://doi.org/10.1007/s11554-016-0588-9
  • Radwan, K., Kryjak, T., & Gorgon, M. (2018). Hardware – software implementation of a SFM module for navigation an unmanned aerial vehicles – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://ieeexplore-1ieee-1org-1000047l3000f.wbg2.bg.agh.edu.pl/stamp/stamp.jsp?tp=&arnumber=8596937
  • Janus, P., & Kryjak, T. (2018). Hardware implementation of the Gaussian mixture model foreground object segmentation algorithm working with ultra-high resolution video stream in real-time. Signal Processing – Algorithms, Architectures, Arrangements, and Applications Conference Proceedings, SPA, 2018-September, 140–145. https://doi.org/10.23919/SPA.2018.8563404
  • Blachut, K., Kryjak, T., & Gorgon, M. (2018). Hardware implementation of multi-scale Lucas-Kanade optical flow computation algorithm – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://web.fe.up.pt/ specs/events/dasip2018/files/paper_49.pdf
  • Przewlocka, D., & Kryjak, T. (2018). Hardware acceleration of face detection using a deep convolutional neural network – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://web.fe.up.pt/ specs/events/dasip2018/files/paper_45.pdf
  • Fraczek, P., Mora, A., & Kryjak, T. (2018). Embedded vision system for automated drone landing site detection – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://web.fe.up.pt/ specs/events/dasip2018/files/paper_47.pdf
    Fraczek, P., Mora, A., & Kryjak, T. (2018). Embedded vision system for automated drone landing site detection. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 11114 LNCS, 397–409. https://doi.org/10.1007/978-3-030-00692-1_35
GRANTY

Granty zewnętrzne:

  • 2020-2022 – “Opracowanie rozwiązań wykorzystujących nowoczesne czujniki wizyjne  (kamery zdarzeniodla zastosowań związanych z autonomicznymi, bezzałogowymi pojazdami latającymi” (The development of solutions using modern vision sensors (event cameras) for applications related to autonomous, unmanned aerial vehicles) – projekt w ramach tzw. grantu uczelnianego Inicjatywa Doskonałości – Uczelnia Badawcza. Kierownik: Marek Gorgoń, Wykonawcy: Zespół EVS.
  • 2017-2021 – “Opracowanie sposobu organizacji obliczeń w heterogenicznych układach rekonfigurowalnych najnowszej generacji umożliwiającego przetwarzanie strumienia wizyjnego UHD/4K w czasie rzeczywistym (The development of computing resources organization in latest generation of heterogeneous reconfigurable devices enabling real-time processing of UHD/4K video stream)” – grant no. 2016/23/D/ST6/01389, Narodowe Centrum Nauki (Sonata 12). Kierownik: Tomasz Kryjak, Wykonawcy: Dominika Przewłocka, Marcin Kowalczyk, Piotr Janus, Krzysztof Błachut, Hubert Szolc, Mateusz Wąsala, Piotr Ciarach.
  • 2015-2016 – “A functional model of a machine with a vision system for scarification and evaluation acorns liveness based on automatic recognition of the topography of mummification changes” – National Center for Research and Development project, part of the Applied Research Program. Wykonawcy: Marek Gorgoń, Tomasz Kryjak.
  • 2011-2013 –  “Reconfigurable implementation of hardware modules for processing and analysis of complex video signals”, grant no. 2011/01/N/ST7/06687, National Science Centre Poland (Preludium). Kierownik: Tomasz Kryjak
  • 2011-2013 – “Intelligent surveillance system for space and objects of particular importance – SIMPOZ” – grant no. 0128/R/t00/2010/12, Ministry of Science and Higher Education of the Republic of Poland. Wykonawcy: Marek Gorgoń, Tomasz Kryjak

Granty dla młodych naukowców:

  • 2020 – “Śledzenie obiektów z wykorzystaniem algorytmów bazujących na filtrze korelacyjnym”, Kierownik: Marcin Kowalczyk
  • 2020 –  “Śledzenie obiektów za pomocą syjamskich sieci neuronowych”, Kierwonik: Dominika Przewłocka-Rus
  • 2020 –  “Śledzenie obiektów przez detekcję z wykorzystaniem głębokich konwolucyjnych sieci neuronowych”, Kierownik: Tomasz Kryjak
  • 2019 – “Opracowanie architektury programowo-sprzętowej dla zadania detekcji i rozpoznawania znaków drogowych z użyciem głębokich konwolucyjnych sieci”, Kierownik: Dominika Przewłocka
  • 2019 – “Analiza i sprzętowo-programowa implementacja algorytmów detekcji przeszkód dla pojazdu autonomicznego”, Kierownik: Marcin Kowalczyk,
  • 2019 – “Opracowanie architektury sprzętowo-programowej dla zadania detekcji i rozpoznawania sygnalizacji świetlnej dla potrzeb pojazdów autonomicznych i systemów wspomagania kierowcy”, Kierownik: Tomasz Kryjak
  • 2018 – “Hardware implementation of algorithms for detection and classification of objects based on the analysis of data from the LIDAR sensor” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.712. Kierownik: Tomasz Kryjak
  • 2017- “Hardware implementation of algorithms for detection and re-identification of persons as well as detection of abandoned luggage in an advanced, automatic video monitoring system” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.623. Kierownik: Tomasz Kryjak
  • 2016 – “Hardware implementation of selected objects segmentation algorithms in reconfigurable FPGAs, heterogeneous Zynq SoC and programmable GPGPU GPUs” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.879. Kierownik: Tomasz Kryjak
  • 2015 – “The use of heterogeneous computing platforms in object tracking task for video processing systems” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.476. Kierownik: Tomasz Kryjak
  • 2014 – “The use of heterogeneous computing platforms in object classification task for video processing systems” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant, 2014. Project number:  15.11.120.406. Kierownik: Tomasz Kryjak
  • 2013 – “Heterogeneous computing systems evaluation in object detection and recognition” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Projekt number: 15.11.120.330. Kierownik: Tomasz Kryjak
  • 2012 – “The use of 3D information and thermal imaging in advanced video surveillance systems” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number:  15.11.120.231. Kierownik: Tomasz Kryjak
WSPÓŁPRACA


2019.03.31- 2019.10.31 –  Project: Analysis of the possibilities of using SLAM technology based on visual information for positioning of an autonomous vehicle. Company ABB Ltd, Warszawa/Kraków, Poland. Kierownik: Tomasz Kryjak, Wykonawcy: Marcin Kowalczyk, Krzysztof Błachut, Hubert Szolc, Mateusz Wąsala.

2018.11.15- 2019.04.30 – Projects: Analysis of the possibilities of automation of the process of reading cassette tests results and ELISA tests (holes plate tests). Implementation of a C++ application using the OpenCV library version 4.X that automates the process of reading the results of cassette tests (part A) and ELISA tests (plate plate tests) (part B). Company: ABERIT, Rzeszów, Poland. Kierownik projektu: Tomasz Kryjak. Wykonawca: Domnika Przewłocka.

2017.09.11- 2018.08.08 – Project: Model of the Witrak videotracker (in FPGA). Company PCO Ltd. Warszawa, Poland. Kierownik: Marek Gorgoń. Wykonawcy: Tomasz Kryjak, Marcin Kowalczyk