Third party funded individual grant
Start date : 01.12.2022
End date : 30.11.2025
Computer vision contributes in creating visual priors as self-contained tasks or input to another system. In the context of autonomous navigation, the system can be a mobile agent that not only relies on the raw sensory inputs, but also on computer vision algorithms for understanding the environment. Recent studies on embodied agents show that an agent acts more accurately when visual priors such as semantic segmentation, depth estimation are provided next to the raw input data. Producing the visual priors though comes at the cost of data collection and annotation. The latest approaches build on deep neural networks, which are trained with supervision. For that propose, a large pool of data and annotations has to be created prior to training the model. To address this limitation, simulation is an alternative source for data and annotation generation. In the context of deep neural networks, it can be considered for the replacing the real-world, where a large amount of synthetic data is created according to the task in place. Although, the data simulation has clear advantages over the real-world datasets, there is also a clear limitation. Training a deep neural network with synthetic data does not result in good performance on real-world data.In this research project, we are going to conduct research on closing the performance drop when transferring deep neural network models from the simulation to real-world applications. Our testbed for measuring the performance will be semantic image segmentation and depth estimation from a single image. In our research, we will propose algorithms that teach a deep neural network how to fast learn adapting into new environments. This concept is widely known as meta-learning. In this project, it will be explored for learning a model in simulation and then transferring it to the real-world. Meta-learning has never been seen as a way to tackle model transfer, but its formulation suits well to the problem.
Computer Vision stellt heute einen wichtigen Teil der visuellen Vorverarbeitung dar. Dabei kann Computer Vision entweder als eigenes Aufgabenfeld oder als Modul verstanden werden, welches seine Ergebnisse als Input an ein darauf aufbauendes System weitergibt. Im Kontext des automatisierten Fahrens kann dieses System ein mobiler Agent sein, der sich nicht nur auf Rohdaten stützt, sondern Computer Vision Algorithmen zur visuellen Vorverarbeitung nutzt, um seine Umgebung zu verstehen. Aktuelle Studien zu realen Implementierungen solcher Agenten zeigen, dass diese akkurater agieren, wenn sie visuelle Vorverarbeitung, wie z.B. semantische Segmentierung oder Tiefenschätzung als zusätzlichen Input zu den Rohdaten verwenden. Das akkuratere Verhalten der Agenten muss jedoch durch aufwändiges Sammeln und Annotieren der Daten erkauft werden. Aktuelle Ansätze basieren nämlich auf tiefen neuronalen Netzen, welche mit überwachtem Lernen trainiert werden. Zu diesem Zweck muss vor dem Trainieren der Netze ein großer, annotierter Datensatz erstellt werden. Um dieser Einschränkung zu umgehen, können annotierte Datensätze mit Hilfe von Simulation erzeugt werden. Diese umfangreichen, synthetisch generierten Datensätze können direkt auf die Aufgabe zugeschnitten und im Kontext neuronaler Netze als Alternative zu realen Datensätzen verwendet werden. Allerdings weisen solche synthetischen Datensätze auch klare Nachteile auf. Insbesondere schneiden auf synthetischen Daten trainierte neuronale Netze schlecht auf Realdaten ab.In diesem Projekt werden wir daher erforschen, wie sich dieser Leistungsabfall vermindern lässt, sodass auf synthetischen Daten trainierte tiefe neuronale Netze zukünftig besser auf Realdaten abschneiden. Als Testfelder zur Evaluation werden wir dabei die Anwendungen semantische Segmentierung und Tiefenschätzung auf Einzelbildern näher untersuchen. In unserer Forschung werden wir Algorithmen entwickeln, die tiefen neuronalen Netzen beibringen, sich schnell an neue Umgebungen anzupassen. Dieses Konzept ist weithin als Meta-Learning bekannt. Meta-Learning wurde jedoch bis heute noch nie als Methode verwendet, um den Transfer von synthetisch generierten Daten auf Realdaten zu schaffen, obwohl die Problemformulierung von Meta-Learning gut auf das Problem passt.