Autonomous driving is one of the key future fields of mobility. To deploy AI-based driving functions safely, a vehicle must not only perceive what it sees but also assess how confident it is in its perception. Uncertainties arise throughout the entire perception chain—from noisy sensor data, representing aleatoric uncertainty, to previously unknown objects, representing epistemic uncertainty—and must be monitored reliably at runtime.

At IPEK, our Automated & Connected Mobility research group investigates how uncertainties in perception can be modelled, propagated, and used for runtime safety assurance. For this purpose, we are developing a model that represents and monitors uncertainty propagation throughout the perception chain at runtime, thereby assessing how reliable the environment model is in a given situation.

As part of the BMWK-funded CONTROL research project, we are working with approximately 24 partners from industry and academia to develop methods and architectures for safe, AI-based automated driving systems: https://control-projekt.de/

We are looking for a motivated student research assistant to support the development of our Model-in-the-Loop demonstrator. This domain-agnostic demonstration platform will make our approach tangible using real-world camera and LiDAR data.

Your Mission

Your specific responsibilities will be tailored to your individual skills and strengths:

• Detector training: Train, fine-tune, and evaluate object detectors using camera and LiDAR data, including the preparation of the corresponding datasets.
• Uncertainty quantification: Implement and compare methods for uncertainty quantification, such as Monte Carlo dropout, deep ensembles, and evidential deep learning, and calibrate the resulting uncertainty measures.
• Development of the perception pipeline: Integrate a modular pipeline comprising object detection and sensor fusion into an environment model. Connect our monitoring model and fusion self-assessment approach to this pipeline using Python.
• Perturbations and visualisation: Implement targeted perturbations, such as sensor noise and unknown objects, and develop a live visualisation of the uncertainty-annotated environment model for demonstrations at project meetings and trade fairs.
• Data analysis and documentation: Analyse experimental and simulation data, visualise the results, and contribute to project reports or scientific publications.

Your Profile

• Education: You are enrolled in a bachelor’s or master’s degree programme in engineering, computer science, mathematics, or a related field.
• Technical background: You have strong programming skills in Python and PyTorch and experience training deep neural networks. Experience with GPU-based workflows, ROS or ROS 2, point-cloud or image data, or autonomous driving is desirable.
• Academic performance: You have an above-average academic record.
• Languages: You are fluent in spoken and written German and/or English.
• Working style: You are self-motivated, work independently, and enjoy turning research results into tangible demonstrations.

What We Offer

• Visibility: Your demonstrator will be presented to partners from industry and academia as part of the CONTROL project.
• Compensation: An hourly student-assistant rate in accordance with the regulations of the State of Baden-Württemberg, for between 20 and 85 hours per month.
• Flexibility: Flexible on-site and remote working hours that allow you to combine the position with your studies.
• Practical experience: Gain valuable hands-on experience that supports your academic development and strengthens your CV.
• Research skills: Learn how scientific research is conducted—experience that will be particularly valuable when working on your bachelor’s or master’s thesis.
• Networking: Build connections with researchers who may support your future career development and provide professional recommendations.
• Mentoring: Your supervisor will also act as your mentor, providing valuable advice and strategies for your studies and scientific development.

Keywords: AI, artificial intelligence, autonomous driving, demonstrator, Model-in-the-Loop, MiL, sensor fusion, camera, LiDAR, object detection, uncertainty quantification, calibration, runtime monitoring, safety monitoring, deep learning, Python, PyTorch, ROS, visualisation, physical AI, embodied AI

Autonomes Fahren zählt zu den zentralen Zukunftsfeldern der Mobilität. Damit KI-basierte Fahrfunktionen sicher eingesetzt werden können, muss ein Fahrzeug nicht nur wahrnehmen, was es sieht, sondern auch bewerten, wie sicher es sich dabei ist. Unsicherheiten entstehen entlang der gesamten Wahrnehmungskette – von verrauschten Sensordaten (aleatorisch) bis hin zu unbekannten Objekten (epistemisch) – und müssen zur Laufzeit zuverlässig überwacht werden.

Am IPEK erforschen wir in der Gruppe Automated & Connected Mobility, wie sich Unsicherheiten in der Perzeption modellieren, propagieren und für die Laufzeitabsicherung nutzbar machen lassen. Dazu entwickeln wir ein Modell, das die Unsicherheitspropagation entlang der Wahrnehmungskette abbildet und zur Laufzeit überwacht – und so bewertet, wie belastbar das Umfeldmodell in der jeweiligen Situation ist. Im Rahmen des vom BMWK geförderten Forschungsprojekts CONTROL (https://control-projekt.de/) entwickeln wir gemeinsam mit rund 24 Partnern aus Industrie und Forschung Methoden und Architekturen für sichere, KI-basierte automatisierte Fahrsysteme.

Für den Aufbau unseres Model-in-the-Loop (MiL)-Demonstrators, der unsicherheitsbehaftete KI-Funktionen auf realen Sensordaten erlebbar macht, suchen wir eine engagierte wissenschaftliche Hilfskraft (HiWi).

Deine Mission

Deine konkreten Aufgaben gliedern sich nach deinen persönlichen Fähigkeiten & Stärken:

• Training von KI-Modellen (Objektdetektion): Training und Evaluierung von Objektdetektoren auf Kamera- und LiDAR-Daten sowie Aufbereitung der zugehörigen Datensätze.
• Uncertainty Quantification: Implementierung und Vergleich von Verfahren zur Unsicherheitsquantifizierung (z. B. MC-Dropout, Deep Ensembles, Evidential Deep Learning) sowie Kalibrierung der resultierenden Unsicherheitsmaße.
• Aufbau einer Perzeptionspipeline: Integration einer modularen Kette aus Objekterkennung und Sensorfusion zu einem Umfeldmodell sowie Anbindung unseres Monitoring-Modells und der Fusions-Selbstbewertung an diese Kette (Python).
• Perturbationen & Visualisierung: Umsetzung gezielter Störungen (Sensorrauschen, unbekannte Objekte) sowie Entwicklung einer Live-Visualisierung des unsicherheitsannotierten Umfeldmodells für Demonstrationen bei Projekttreffen und Messen.
• Datenauswertung & Dokumentation: Analyse experimenteller und simulativer Daten, Visualisierung der Ergebnisse sowie Mitarbeit an Projektberichten oder wissenschaftlichen Veröffentlichungen.

Dein Profil

• Du bist in einem ingenieur-, informatik- oder mathematiknahen Studiengang im Bachelor oder Master eingeschrieben.
• Programmierkenntnisse in Python und PyTorch; Erfahrung im Training tiefer neuronaler Netze. Wünschenswert: GPU-Workflows, ROS/ROS2, Erfahrung mit Punktwolken- oder Bilddaten, Vorkenntnisse in autonomem Fahren.
• Überdurchschnittliche Studienleistungen.
• Du kannst fließend Deutsch und/oder Englisch sprechen und dich auch schriftlich ausdrücken.
• Selbstständige, motivierte Arbeitsweise sowie Freude daran, Forschungsergebnisse sichtbar zu machen.

Wir bieten

• Sichtbarkeit: Dein Demonstrator wird im Rahmen von CONTROL vor Partnern aus Industrie und Forschung gezeigt.
• Vergütung: HiWi-Stundensatz nach Tarif des Landes Baden-Württemberg für 20 bis 85 h/Monat.
• Flexibilität: Verbinde Arbeit optimal mit deinem Studium durch flexible Arbeitszeiten vor Ort und remote.
• Praktische Erfahrung: Du gewinnst wertvolle praktische Erfahrung, die nicht nur für deine akademische Entwicklung wichtig ist, sondern auch einen Pluspunkt in deinem Lebenslauf darstellt.
• Forschungskompetenz: Lerne, wie wissenschaftliche Forschung durchgeführt wird. Das kann dir spätestens bei deiner Abschlussarbeit nützlich werden.
• Netzwerkaufbau: Knüpfe Kontakte zu Wissenschaftlern, welche für zukünftige Karrieremöglichkeiten und Empfehlungen wichtig sind.
• Mentoring: Dein Betreuer ist auch dein Mentor und bietet dir wertvolle Ratschläge und Strategien für dein Studium sowie deine wissenschaftliche Weiterentwicklung.

Schlagworte: KI, Künstliche Intelligenz, Autonomes Fahren, Sensorfusion, Kamera, LiDAR, Objekterkennung, Object Detection, Uncertainty Quantification, Kalibrierung, Laufzeitüberwachung, Safety Monitoring, Deep Learning, Python, PyTorch, ROS, Visualisierung, Physical AI, Embodied AI, ML, Machine Learning