Praktikum/Abschlussarbeit (w/m/d) - Multimodaler LLM-Assistent für Verkehrssicherheit

Das erwartet dich:

Bei der Entwicklung von Lösungen für intermodale Verkehrssysteme trägt unser Institut sowohl den Anforderungen der Nutzenden als auch der Betreibenden Rechnung. Mit der Analyse der erforderlichen Informationsströme unterstützen wir Planung und Betrieb von intermodalen Gesamtsystemen und liefern die Grundlage für deren technische und betriebliche Validierung und Verifizierung. Diese Systeme ermöglichen es, den öffentlichen Nahverkehr zu stärken und Städte und Regionen attraktiver zu gestalten. Für Verkehrsknotenpunkte, wie Flughäfen, Bahnhöfe oder Haltestellen, erforschen und optimieren wir Infrastrukturen, Prozesse und die Verknüpfung aller Verkehrsmittel. Damit können wir die Sicherheit und Planbarkeit des Transports von Menschen und Gütern steigern.

Sie werden Teil des Teams Algorithmen und KI für die Sensordatenverarbeitung (AIS) in der Abteilung Digitalisierter Straßenverkehr (DST) am DLR-Institut für Verkehrssystemtechnik. AIS arbeitet an einer Reihe von Projekten an der Schnittstelle von Computer Vision, Deep Learning, multimodalem Lernen und intelligenten Verkehrssystemen. Dieses Praktikumsprojekt konzentriert sich auf multimodales Lernen mit großen Sprach- und Vision-Sprachgrundmodellen und deren Anwendung auf die Verkehrssicherheit. Das bedeutet, dass Sie mit modernsten KI-Methoden in einer Forschungsumgebung arbeiten und gleichzeitig zu Lösungen beitragen werden, die in realen Straßenverkehrssystemen eingesetzt werden können.

Deine Aufgaben:

• Analyse und Sammlung (falls erforderlich) von bereichsrelevanten Datenquellen (z. B. Verkehrsvorschriften, relevante Veröffentlichungen, Richtlinien für die Straßengestaltung usw.)
• Entwicklung einer dynamischen wissenschaftlichen Wissensdatenbank / eines Zitationsgraphen von Publikationen zur Verkehrssicherheit und Infrastruktur (Papiergraphen, Metadaten, Zitationslinks)
• Implementierung und Evaluierung eines Agentic AI Workflows mit Retrieval-Augmented Generation (RAG)-Pipelines in Python, damit LLMs Fragen zur Verkehrssicherheit und Infrastruktur mit Zitaten beantworten können
• Veröffentlichung der Ergebnisse in bekannten Konferenzen/Zeitschriften im Bereich KI und Verkehrssysteme
• (Optional, je nach Ihren Interessen) Erforschung von Bildsprachmodellen zur Beschreibung von Sicherheitsproblemen in Bildern und deren Verknüpfung mit Literatur oder Regeln

Das bringst du mit:

• laufendes Masterstudium in z. B. Informatik, Data Science, Künstliche Intelligenz, Visual Computing oder verwandten Studiengängen
• gute Kenntnisse in Python, PyTorch/Tensorflow
• erste Erfahrungen im Bereich Computer Vision und Deep Learning (z. B. Transformers, LLMs, VLMs)