Zespół Wbudowanych Systemów Wizyjnych działa w ramach Laboratorium Systemów Wizyjnych, Katedry Automatyki i Robotyki na Wydziale Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej (EAIiIB), Akademii Górniczo-Hutniczej im. Stanisława Staszica w Krakowie.

Prowadzimy badania nad implementacją różnego rodzaju systemów wizyjnych, które mogę działać w czasie rzeczywistym nawet dla strumienia wizyjnego o wysokiej rozdzielczości i próbkowaniu – nawet UHD (3840 x 2160 @ 60 fps) – przy zachowaniu niewielkiego zużycia energii. Jako platformy sprzętowe wykorzystujemy układy reprogramowalne FPGA (ang. Field Programmable Gate Array), reprogramowalne układy SoC (ang. System on Chip) np. Zynq SoC, Zynq UltraScale+ MPSoC (ang. Multi Processor System on Chip), czy rozwiązania typu embedded GPU (ang. Graphic Processing Unit) np. serię Jetson firmy Nvidia.

Systemy takie znajdują zastosowanie w aplikacjach wymagających bardzo szybkiego i wydajnego przetwarzania danych wizyjnych tak, aby pozyskana z nich informacja mogła być niemal natychmiast wykorzystana do wspomagania podejmowania decyzji lub sterowania aplikacją. Prowadzone obecnie badania skupiają się w następujących obszarach:

– sterowanie autonomicznych, bezzałogowych pojazdów latających (dronów, UAV, UAS),

– algorytmów wizyjnych dla pojazdów autonomicznych i zaawansowanych systemów wspomagania kierowcy (ADAS – ang. Advanced Driver Assistance Systems),

śledzenia obiektów i określenia ich trajektorii ruchu,

– wykorzystania danych z czujnika LiDAR do detekcji obiektów i tworzenia mapy otoczenia,

– segmentacji obiektów pierwszoplanowych i ruchomych, a także elementów zaawansowanych systemów monitoringu wizyjnego (AVSS – ang. Advanced Video Surevillance Systems),

– implementacji wbudowanych metod sztucznej inteligencji (ang. embedded AI) – głębokich konwolucyjnych sieci neuronowych oraz sieci impulsowych.

Członkowie grupy współtworzą od 2011 roku międzynarodową konferencję DASIP (The Conference on Design and Architectures for Signal and Image Processing) współdziałając m.in. z naukowcami z Niemiec, Francji, Włoch, Hiszpanii, Portugalii i Kanady. Publikujemy też na konferencjach ARC (International Symposium on Applied Reconfigurable Computing ) oraz ICCVG (International Conference on Computer Vision and Graphics), SPA (Signal Processing Algorithms, Archtectures, Arrangements and Applications), KKA (Krajowa Konferencja Automatyki), FedCSIS (Federated Conference on Computer Science and Information Systems) oraz w czasopismach Journal of Real-Time Image Processing i Sensors.


Pracownicy zespołu prowadzą dydaktykę z przedmiotów: Przetwarzanie Obrazów Cyfrowych (Digital Image Processing and Vision Systems), Systemy Rekonfigurowalne, Programowanie strukturalne i obiektowe, Zaawansowane programowanie obiektowe, Architektury systemów wizyjnych, Metody kompresji i kodowania obrazów, Programowo-sprzętowa realizacja algorytmów (Hardware-Software Vision Systems), Systemy i algorytmy percepcji w pojazdach autonomicznych, Obliczenia równoległe w CUDA oraz HLS tools. Corocznie, w efekcie współpracy pracowników i studentów powstaje kilka prac inżynierskich i magisterskich. Ponadto przy naszym zespole działa Studenckie Koło Naukowego AVADER, który skupia studentów zainteresowanych wbudowanymi systemami wizyjnymi. 

 

PRACOWNICY ZESPOŁU

MarekGorgon_evs

Marek Gorgoń

prof. dr hab. inż.

Marek Gorgon received MSc, Ph.D. and D.Sc. (habilitation) from AGH University of Science and Technology in Krakow, Poland. From 1994 onwards permanent position at the Department of Automatics and Biomedical Engineering of the AGH-UST, currently Associate Professor. His research interests include: image processing, software–hardware co design, reconfigurable devices, embedded systems and applications. He is a Senior Member of IEEE, ECSI Member and AGH-UST Senate Member. He serves for the International Program Committees of DASIP, ReConFig and ERSA. He is an author of two monographs, and 90 journal and conference papers and reports. He is an author of two monographs, and 90 journal and conference papers and reports.

TomaszKryjak_evs_s

Tomasz Kryjak

dr inż.

Interesuję się wbudowanymi systemami wizyjnymi dla pojazdów autonomicznych, dronów i zaawansowanego automatycznego monitoringu wizyjnego. Implementuję je w układach FPGA oraz programowalnych, heterogenicznych układach obliczeniowych.

DominikaPrzewlocka_evs_s

Dominika Przewłocka

mgr inż.

Interesuję się rozwiązaniami sztucznej inteligencji, w szczególności wykorzystaniem sieci neuronowych we wbudowanych systemach wizyjnych. Zajmuję się implementacją takich algorytmów w układach FPGA oraz programowalnych, heterogenicznych układach obliczeniowych

MarcinKowalczyk_evs_s

Marcin Kowalczyk

mgr inż.

Moje zainteresowania skupione są wokół systemów wizyjnych czasu rzeczywistego dla robotów autonomicznych, ze szczególnym uwzględnieniem śledzenia obiektów. W pracy wykorzystuję heterogeniczne platformy obliczeniowe oraz wysokopoziomowe środowiska umożliwiające modelowanie algorytmów i projektowanych systemów.

DOKTORANCI
Krzysztof_Blachut_evs_s

Krzysztof Błachut

mgr inż.

Moje zainteresowania naukowe obejmują wbudowane systemy wizyjne w latających i jeżdżących pojazdach autonomicznych oraz w systemach monitoringu wizyjnego. Do ich realizacji wykorzystuję heterogeniczne platformy obliczeniowe, ze szczególnym uwzględnieniem układów FPGA.

HubertSzolc_evs_s

Hubert Szolc

mgr inż.

Interesuję się sterowaniem pojazdami autonomicznymi w oparciu przede wszystkim o informację wizyjną. Do implementacji sprzętowej przygotowanych algorytmów wykorzystuję układy FPGA oraz heterogeniczne platformy obliczeniowe.

dav

Mateusz Wąsala

mgr inż.

Interesuję się wbudowanymi systemami wizyjnymi, w szczególności sterowaniem i generowaniem trajektorii autonomicznych dronów. Zajmuję się również projektowaniem i budową elementów wyposażenia przeznaczonych do tych pojazdów.

Piotr_Janus_evs_s

Piotr Janus

mgr inż.

Głównym obszarem moich zainteresowań są systemy wizyjne realizujące segmentację obiektów pierwszoplanowych. Implementuje je głównie w układach FPGA oraz na procesorach graficznych wykorzystując architekturę CUDA.

PiotrKonopka_evs_s

Piotr Konopka

mgr inż.

Prace inżynierską i magisterską zrealizowałem w tematyce wbudowanych systemów wizyjnych jako członek SKN AVADER. Obecnie, jako doktorant, reprezentuję uczelnię w CERN, gdzie pracuję nad systemem akwizycji i przetwarzania danych dla eksperymentu ALICE.

DYPLOMANCI

Joanna Stanisz

inż.

Temat pracy magisterskiej: Akceleracja sprzętowa głębokich sieci neuronowych do detekcji obiektów na podstawie danych z LiDAR z wykorzystaniem układów reprogramowalnych
Opiekun: dr inż. Tomasz Kryjak

Konrad Lis

inż.

Temat pracy magisterskiej: Akceleracja sprzętowa głębokich sieci neuronowych do detekcji obiektów na podstawie danych z LiDAR z wykorzystaniem układów reprogramowalnych
Opiekun: dr inż. Tomasz Kryjak

Michał Daniłowicz

inż.

Temat pracy magisterskiej: Śledzenie wielu obiektów z wykorzystaniem sieci R-CNN
Opiekun: dr inż. Tomasz Kryjak

Dominika Grabowska

inż.

Temat pracy magisterskiej: Śledzenie wielu obiektów z wykorzystaniem sieci LSTM
Opiekun: dr inż. Tomasz Kryjak

Krzysztof Marszałek

inż.

Temat pracy magisterskiej: Wpływ precyzji obliczeń na działanie impulsowych sieci neuronowych
Opiekun: dr inż. Tomasz Kryjak

Aleksander Orlikowski

inż.

Temat pracy magisterskiej: Klasyfikacja obiektów z wykorzystaniem głębokich i impulsowych sieci neuronowych
Opiekun: dr inż. Tomasz Kryjak

Daniel Gacek

inż.

Temat pracy magisterskiej: Śledzenie obiektów z wykorzystaniem syjamskich sieci neuronowych
Opiekun: dr inż. Tomasz Kryjak i mgr inż. Dominika Przewłocka

PUBLIKACJE (2018-2020)
  • Ciarach, P., Kowalczyk, M., Przewlocka, D., & Kryjak, T. (2019). Real-Time FPGA Implementation of Connected Component Labelling for a 4K Video Stream. In C. Hochberger, B. Nelson, A. Koch, R. Woods, & P. Diniz (Eds.), Applied Reconfigurable Computing (pp. 165–180). Cham: Springer International Publishing.
  • Przewlocka, D., Kowalczyk, M., & Kryjak, T. (2019). XNOR CNNs in FPGA: real-time detection and classification of traffic signs in 4K – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://dasip-conference.org/wp-content/uploads/sites/2/2019/10/DASIP2019_paper_34.pdf
  • Kowalczyk, M., Przewlocka, D., & Kryjak, T. (2019). Real-time implementation of adaptive correlation filter tracking for 4K video stream – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://dasip-conference.org/wp-content/uploads/sites/2/2019/10/DASIP2019_paper_33.pdf
  • Stanisz, J., Lis, K., Kryjak, T., & Gorgon, M. (2019). Hardware-software implementation of car detection system based on LiDAR sensor data – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://dasip-conference.org/wp-content/uploads/sites/2/2019/10/DASIP2019_paper_30.pdf
  • Radwan, K., & Kryjak, T. (2019). Hardware implementation of the SURF feature detector for 4K 4PPC video stream – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://dasip-conference.org/wp-content/uploads/sites/2/2019/10/DASIP2019_paper_35.pdf
  • Kucharski, D., Kleczek, P., Jaworek-Korjakowska, J., Dyduch, G., & Gorgon, M. (2020). Semi-supervised nests of melanocytes segmentation method using convolutional autoencoders. Sensors (Switzerland), 20(6). https://doi.org/10.3390/s20061546
  • Kleczek, P., Jaworek-Korjakowska, J., & Gorgon, M. (2020). A novel method for tissue segmentation in high-resolution H&E-stained histopathological whole-slide images. Computerized Medical Imaging and Graphics, 79. https://doi.org/10.1016/j.compmedimag.2019.101686
  • Jaworek-Korjakowska, J., Kleczek, P., & Gorgon, M. (2019). Melanoma thickness prediction based on convolutional neural network with VGG-19 model transfer learning. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, 2019-June, 2748–2756. https://doi.org/10.1109/CVPRW.2019.00333
  • Piszczek, K., Janus, P., & Kryjak, T. (2018). The use of HACP+SBT lossless compression in optimizing memory bandwidth requirement for hardware implementation of background modelling algorithms. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 10824 LNCS, 379–391. https://doi.org/10.1007/978-3-319-78890-6_31
  • Kowalczyk, M., Przewlocka, D., & Krvjak, T. (2018). Real-Time Implementation of Contextual Image Processing Operations for 4K Video Stream in Zynq UltraScale+ MPSoC. Conference on Design and Architectures for Signal and Image Processing, DASIP, 2018-October, 37–42. https://doi.org/10.1109/DASIP.2018.8597105
  • Kryjak, T., Komorkiewicz, M., & Gorgon, M. (2018). Real-time hardware–software embedded vision system for ITS smart camera implemented in Zynq SoC. Journal of Real-Time Image Processing, 15(1), 123–159. https://doi.org/10.1007/s11554-016-0588-9
  • Radwan, K., Kryjak, T., & Gorgon, M. (2018). Hardware – software implementation of a SFM module for navigation an unmanned aerial vehicles – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://ieeexplore-1ieee-1org-1000047l3000f.wbg2.bg.agh.edu.pl/stamp/stamp.jsp?tp=&arnumber=8596937
  • Janus, P., & Kryjak, T. (2018). Hardware implementation of the Gaussian mixture model foreground object segmentation algorithm working with ultra-high resolution video stream in real-time. Signal Processing – Algorithms, Architectures, Arrangements, and Applications Conference Proceedings, SPA, 2018-September, 140–145. https://doi.org/10.23919/SPA.2018.8563404
  • Blachut, K., Kryjak, T., & Gorgon, M. (2018). Hardware implementation of multi-scale Lucas-Kanade optical flow computation algorithm – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://web.fe.up.pt/ specs/events/dasip2018/files/paper_49.pdf
  • Przewlocka, D., & Kryjak, T. (2018). Hardware acceleration of face detection using a deep convolutional neural network – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://web.fe.up.pt/ specs/events/dasip2018/files/paper_45.pdf
  • Fraczek, P., Mora, A., & Kryjak, T. (2018). Embedded vision system for automated drone landing site detection – a demo. Conference on Design and Architectures for Signal and Image Processing, DASIP. Retrieved from https://web.fe.up.pt/ specs/events/dasip2018/files/paper_47.pdf
    Fraczek, P., Mora, A., & Kryjak, T. (2018). Embedded vision system for automated drone landing site detection. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 11114 LNCS, 397–409. https://doi.org/10.1007/978-3-030-00692-1_35
GRANTY

Granty zewnętrzne:

  • 2017-2021 – “Opracowanie sposobu organizacji obliczeń w heterogenicznych układach rekonfigurowalnych najnowszej generacji umożliwiającego przetwarzanie strumienia wizyjnego UHD/4K w czasie rzeczywistym (The development of computing resources organization in latest generation of heterogeneous reconfigurable devices enabling real-time processing of UHD/4K video stream)” – grant no. 2016/23/D/ST6/01389, Narodowe Centrum Nauki (Sonata 12). Kierownik: Tomasz Kryjak, Wykonawcy: Dominika Przewłocka, Marcin Kowalczyk, Piotr Janus, Krzysztof Błachut, Hubert Szolc, Mateusz Wąsala, Piotr Ciarach.
  • 2015-2016 – “A functional model of a machine with a vision system for scarification and evaluation acorns liveness based on automatic recognition of the topography of mummification changes” – National Center for Research and Development project, part of the Applied Research Program. Wykonawcy: Marek Gorgoń, Tomasz Kryjak.
  • 2011-2013 –  “Reconfigurable implementation of hardware modules for processing and analysis of complex video signals”, grant no. 2011/01/N/ST7/06687, National Science Centre Poland (Preludium). Kierownik: Tomasz Kryjak
  • 2011-2013 – “Intelligent surveillance system for space and objects of particular importance – SIMPOZ” – grant no. 0128/R/t00/2010/12, Ministry of Science and Higher Education of the Republic of Poland. Wykonawcy: Marek Gorgoń, Tomasz Kryjak

Granty dla młodych naukowców:

  • 2019 – “Opracowanie architektury programowo-sprzętowej dla zadania detekcji i rozpoznawania znaków drogowych z użyciem głębokich konwolucyjnych sieci”, Kierownik: Dominika Przewłocka
  • 2019 – “Analiza i sprzętowo-programowa implementacja algorytmów detekcji przeszkód dla pojazdu autonomicznego”, Kierownik: Marcin Kowalczyk,
  • 2019 – “Opracowanie architektury sprzętowo-programowej dla zadania detekcji i rozpoznawania sygnalizacji świetlnej dla potrzeb pojazdów autonomicznych i systemów wspomagania kierowcy”, Kierownik: Tomasz Kryjak
  • 2018 – “Hardware implementation of algorithms for detection and classification of objects based on the analysis of data from the LIDAR sensor” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.712. Kierownik: Tomasz Kryjak
  • 2017- “Hardware implementation of algorithms for detection and re-identification of persons as well as detection of abandoned luggage in an advanced, automatic video monitoring system” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.623. Kierownik: Tomasz Kryjak
  • 2016 – “Hardware implementation of selected objects segmentation algorithms in reconfigurable FPGAs, heterogeneous Zynq SoC and programmable GPGPU GPUs” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.879. Kierownik: Tomasz Kryjak
  • 2015 – “The use of heterogeneous computing platforms in object tracking task for video processing systems” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number: 15.11.120.476. Kierownik: Tomasz Kryjak
  • 2014 – “The use of heterogeneous computing platforms in object classification task for video processing systems” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant, 2014. Project number:  15.11.120.406. Kierownik: Tomasz Kryjak
  • 2013 – “Heterogeneous computing systems evaluation in object detection and recognition” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Projekt number: 15.11.120.330. Kierownik: Tomasz Kryjak
  • 2012 – “The use of 3D information and thermal imaging in advanced video surveillance systems” – Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering Dean grant. Project number:  15.11.120.231. Kierownik: Tomasz Kryjak
WSPÓŁPRACA


2019.03.31- 2019.10.31 –  Project: Analysis of the possibilities of using SLAM technology based on visual information for positioning of an autonomous vehicle. Company ABB Ltd, Warszawa/Kraków, Poland. Kierownik: Tomasz Kryjak, Wykonawcy: Marcin Kowalczyk, Krzysztof Błachut, Hubert Szolc, Mateusz Wąsala.

2018.11.15- 2019.04.30 – Projects: Analysis of the possibilities of automation of the process of reading cassette tests results and ELISA tests (holes plate tests). Implementation of a C++ application using the OpenCV library version 4.X that automates the process of reading the results of cassette tests (part A) and ELISA tests (plate plate tests) (part B). Company: ABERIT, Rzeszów, Poland. Kierownik projektu: Tomasz Kryjak. Wykonawca: Domnika Przewłocka.

2017.09.11- 2018.08.08 – Project: Model of the Witrak videotracker (in FPGA). Company PCO Ltd. Warszawa, Poland. Kierownik: Marek Gorgoń. Wykonawcy: Tomasz Kryjak, Marcin Kowalczyk