Zu diesem Beruf haben wir derzeit leider keine Daten. Übst du diesen Beruf aus? Teile dein Gehalt mit uns – natürlich anonym – und trage zur Gehaltstransparenz bei!
Wir sind Bertrandt.
Ein eigenständiger und internationaler Engineering Dienstleister mit langjähriger Expertise. Mit branchenübergreifendem Know-how und einem ganzheitlichen System- und Produktverständnis schaffen wir technologische Lösungen entlang der gesamten Wertschöpfungskette. Wir beschäftigen uns mit den Trendthemen Digitalisierung, E-Mobilität und Autonome Systeme hauptsächlich für die Branchen Automotive, Luftfahrt, Defence und Maschinenbau und ermöglichen hier konsequent die Entstehung passgenauer Lösungen. Unser Ziel: den technologischen Fortschritt beschleunigen und einen relevanten Beitrag zu einer nachhaltigen Zukunft leisten. Daran arbeiten wir jeden Tag – mit rund 12.000 Mitarbeiterinnen und Mitarbeitern an über 50 Standorten weltweit.
Was Sie erwartet
- Durchführung, Planung und Dokumentation von Tests für Large Language Models (LLMs)
- Analyse, Bewertung und Optimierung der Modellperformance (Qualität, Robustheit, Halluzinationen, Bias, Antwortkonsistenz)
- Integration, Konfiguration und Validierung von KI‑Tools innerhalb einer MCP‑Server‑Architektur
- Unterstützung bei der Anbindung externer Services und Tools (z. B. Search, Retrieval, APIs) an LLM‑basierte Systeme
- Mitarbeit bei der Weiterentwicklung von KI‑Infrastrukturen, Toolchains und Testframeworks
- Enge Zusammenarbeit mit Entwicklung, Architektur, Produktmanagement und Qualitätssicherung
- Dokumentation von Testergebnissen, Schnittstellen und technischen Konzepten
- Identifikation von Optimierungs‑ und Automatisierungspotenzialen im KI‑Umfeld
Was Sie mitbringen
- Mehrjährige praktische Erfahrung im Umgang mit Large Language Models (z. B. GPT‑basierte Modelle, Open‑Source‑LLMs)
- Fundierte Erfahrung in LLM‑Tests, insbesondere in den Bereichen Functional Testing, Prompt‑Evaluation, Regression‑ und Performance‑Tests
- Nachweisliche Erfahrung in der Integration von Tools in MCP‑Server‑Umgebungen oder vergleichbaren KI‑/Agenten‑Architekturen
- Sehr gutes Verständnis von API‑Schnittstellen, Service‑Integration und Client‑Server‑Architekturen
- Erfahrung im Umgang mit KI‑Pipeline‑ oder Orchestrierungs‑Ansätzen
- Kenntnisse in Testmethoden, Qualitätssicherung und technischer Dokumentation im KI‑Kontext
- Sehr gute Programmierkenntnisse (z. B. Python)
- Erfahrung mit Tool‑Anbindung, Plugin‑ oder Agent‑Mechanismen für LLMs
- Idealerweise Kenntnisse in Prompt Engineering, Retrieval‑Augmented Generation (RAG) und Evaluationstechniken
- Sicherer Umgang mit Entwicklungs‑ und Kollaborationstools
- Verständnis moderner KI‑Infrastrukturen (Cloud‑, Container‑ oder Server‑basierte Umgebungen von Vorteil)
- Analytische und strukturierte Arbeitsweise
- Hohe Lösungs‑ und Ergebnisorientierung
- Selbstständiges Arbeiten sowie ausgeprägte Teamfähigkeit
- Technische Neugier und hohe Lernbereitschaft im dynamischen KI‑Umfeld
- Sehr gute Kommunikationsfähigkeit gegenüber technischen und nicht‑technischen Stakeholdern
- Sehr gute Deutschkenntnisse
Kontaktdaten
Christophe Klein
07034-65612448
Bertrandt legt großen Wert auf Gleichbehandlung und Chancengleichheit. Unsere Recruiting-Entscheidungen basieren auf den Erfahrungen und Fähigkeiten der Bewerber*innen. Schwerbehinderte Menschen bzw. gleichgestellte Menschen im Sinne des SGB IX sind herzlich willkommen und werden bei gleicher Eignung bevorzugt eingestellt. Sie sind interessiert? Wir freuen uns über Ihre Bewerbung!Ähnliche Jobs, die dich interessieren könnten