Vier Tage Hacking in Potsdam

Hinweis: Die deutsche Fassung dieses Beitrags ist eine Übersetzung aus dem Englischen; Fachbegriffe, Code und Befehle blieben bewusst unverändert.

Vier Tage später gingen wir mit zwei funktionierenden Ergebnissen und einem deutlich schärferen Bild des weiteren Weges auseinander. Der persönliche Austausch über alle Projekte hinweg hat den Weg frei gemacht und Möglichkeiten eröffnet, die wir nun nutzen können.

Ein Thalamus-Plugin und eine Abstraktion für jeden OpenAI-kompatiblen Dienst

Thalamus ist ein herstellerneutraler, Kubernetes-nativer Inferenzdienst für souveräne LLM-Deployments, bei dem Gewichte, Prompts und Kontext das Deployment-Perimeter nie verlassen. Damit passt er hervorragend zu Naira, dessen Aufgabe es ist, KI-Assets und -Dienste an einem Ort zu entdecken, zu steuern und zu betreiben.

Wir haben zunächst ein dediziertes Thalamus-Plugin für Naira implementiert, sodass die von Thalamus bereitgestellten Modelle als vollwertige, governte Assets im Hub erscheinen. Da das Plugin stark auf der Konformität zur OpenAI-API aufbaut, sind wir noch einen Schritt weiter gegangen: Wir haben es zerlegt und zu einer Abstraktion für jeden OpenAI-API-konformen Dienst verallgemeinert. Thalamus ist heute eine Implementierung hinter dieser Schnittstelle – alles andere, was dieselbe API spricht, lässt sich anbinden, ohne eine Integration von Grund auf neu zu bauen.

Genau das ist die Art von Aufgabe, die sich in einem Designdokument nur schwer richtig lösen lässt und die erstaunlich leicht gelingt, wenn beide Teams am selben Tisch sitzen.

Demo der Naira-x-Thalamus-Integration

Ein MCP-Server für Naira – und ein Chatbot

Im zweiten Arbeitsstrang ging es darum, wie Menschen unsere Plattform tatsächlich nutzen. Wir haben einen MCP-Server für Naira gebaut und darauf einen einfachen Chat (OpenWebUI) aufgesetzt, sodass sich die Plattform im Dialog bedienen lässt: fragen, was verfügbar ist, Assets prüfen und Aktionen auslösen, ohne den Chat zu verlassen. Das Ganze ist früh und bewusst minimal, verändert aber das Gefühl im Umgang mit der Plattform – und gibt uns ein greifbares Artefakt zum Weiterentwickeln statt einer Folie.

Das eigentliche Potenzial entsteht jedoch mit den zusätzlichen Informationen, die wir sammeln. Eine große Herausforderung wird darin bestehen, diese Informationen zu korrelieren und zugänglich zu halten.

Das Naira-Projektteam

Abgrenzung zu kcp, Platform Mesh und OCM

Über das Programmieren hinaus verbrachten wir einen Teil der vier Tage im Austausch mit benachbarten Projekten wie kcp mit Platform Mesh und OCM.

In diesen Gesprächen ging es weniger um Integration um ihrer selbst willen als vielmehr darum, klare Linien, aber auch Grenzen zu ziehen: Welche Themen gehören zu mandantenfähigen Control Planes und API-Management, welche zu Komponentenbeschreibung und -transport und welche wirklich in einen AI Engineering Hub wie Naira. Mit den Menschen in einem Raum zu sitzen, die diese Antworten verantworten, hat uns Wochen asynchronen Hin und Hers erspart – und uns in einigen Fällen davor bewahrt, etwas zu bauen, das eine Ebene tiefer bereits existiert.

Was ist Naira

Naira ist ein Open-Source-AI-Engineering-Hub, der bestehende KI-Werkzeuge an einem Ort zusammenführt, um KI-Assets und -Dienste sowie deren zugehörige Komponenten zu entdecken, zu steuern und zu betreiben.

Naira ersetzt nicht die Systeme, in denen die KI-Arbeit stattfindet. Es macht die AI-Engineering-Landschaft vielmehr verständlich, vernetzt und handhabbar für die Teams, die KI-gestützte Software in Produktion bauen und betreiben müssen.

Naira führt den Kontext zusammen, den AI-Engineering-Teams über den gesamten Lebenszyklus KI-gestützter Systeme hinweg benötigen.

Im Zentrum steht eine vernetzte Sicht auf wichtige KI- und Software-Entitäten, etwa:

• Modelle und Modellversionen;

• Datensätze und Datenquellen;

• Inferenz-Endpunkte;

• MCP-Integrationen;

• Routen des AI Gateways;

• Softwarekomponenten und Anwendungen;

• Workspaces und Verantwortlichkeiten;

• Dokumentation und Runbooks;

• Observability-Verknüpfungen und operative Signale;

• durch Plugins bereitgestellte Metadaten und Aktionen.

Das Ziel ist nicht, alle Daten in einen neuen Monolithen zu überführen. Das Ziel ist, sich mit den bereits vorhandenen Systemen zu verbinden und deren Kontext nutzbar zu machen.

Wie es weitergeht

Das Thalamus-Plugin und die OpenAI-kompatible Abstraktion eröffnen Naira einen souveränen Inferenzpfad. Der MCP-Server schafft einen dialogorientierten Zugang zur Plattform. Beides ist früh, beides ist offen – und beides ist besser, weil es gemeinsam statt parallel entstanden ist.

Danke an alle, die in Potsdam dabei waren, und an SAP für die Organisation sowie das Innovation Center für die Gastfreundschaft.

Teilnehmerinnen und Teilnehmer des Hackathons

Naira, Thalamus, kcp, Platform Mesh und OCM sind Teil der Aktivitäten von ApeiroRA und 8ra, gefördert durch das EU-Vorhaben IPCEI-CIS und unterstützt von Unternehmen wie SAP, die auch diesen Hackathon gesponsert haben.