KubeCon + CloudNativeCon NA 2024 – Rückblick

Hinweis: Dieser Beitrag wurde aus dem Englischen übersetzt. Fachbegriffe, Code und Befehle wurden bewusst im Original belassen.

Interessant ist, dass die KubeCon + CloudNativeCon in gewisser Weise wie Reply funktioniert: Es gibt viele spezialisierte Tracks, die sich auf Platform Engineering und Observability (Liquid Reply), AI + ML (ML Reply), Data und Processing (Data Reply), Operations und Performance (Red Reply), Software Development Life Cycle (Comsysto Reply), Security (Spike Reply) sowie Cloud Native Experience und Connectivity (Storm/Cluster/Go Reply) konzentrieren.

Open Source, Kubernetes und Cloud Native sind dabei lediglich die Bindeglieder zwischen all diesen Themen.

Aber was nehme ich von der KubeCon mit?

Markt + Produkte

• Internal Developer Platforms (IDP) sind allgegenwärtig geworden – ich habe mindestens 10 Produkte bzw. Startups gezählt. Blickt man jedoch in die Community, führt weiterhin kein Weg an Backstage vorbei

• AI Operations – KI-gestützte Plattformen zur Vereinfachung des Betriebs, überwiegend mit bzw. auf Kubernetes, weil die Standardisierung und einheitliche Spezifikation des Cloud-Native-Ökosystems automatisierten Betrieb leicht machen

• Observability – OTEL ist zur einzigen Wahrheit geworden: Jeder Observability-Anbieter unterstützt es, Open-Source-Projekte setzen es als Standard voraus, und das war auch der Tenor sämtlicher Aussteller auf der KubeCon

Talkaways (Takeaways)

• Backstage als Developer Portal ist für viele Engineering-Zentren zum Ankerpunkt geworden – die neuen Plugin-Systeme für Backend und Frontend ermöglichen eine bessere Nutzung, LLMs ziehen als Assistenten ein, und sogar Compliance-Vorgaben lassen sich damit besser erfüllen

• Platform Engineering für GenAI ist der zentrale Enabler für jedes Unternehmen, das LLMs im großen Maßstab einsetzt. Nvidia, Cloudera, Databricks, Intuit und Reddit – um nur einige zu nennen – bauen alle auf Kubernetes-basierten Plattformen auf, betrieben von Platform Engineers

  • Optimierung und Autoscaling für LLM-Lastverteilung

  • LLM-Performance mit OTEL optimieren

  • Envoy wird zum AI Gateway

  • Der Wechsel von cloudbasiertem ML Engineering zu Kubernetes-/Cloud-Native-ML-Engineering vereinfacht Architekturen, Automatisierung und Kosten

  • GPU-Partitionierung und Kostentransparenz

  • Caching/KVs für LLMs verbessern die Performance drastisch

• Quantensichere Anwendungen in Kubernetes – klingt kompliziert, ist denkbar einfach. Die NIST wird künftig keine Verschlüsselungsverfahren mehr zulassen, die nicht quantensicher sind.

• Multi-Cloud- und Multi-Cluster-Management ist zur Selbstverständlichkeit geworden

In einer Livestream-Diskussion mit meinen CNCF-Ambassador-Kollegen Dotan und Viktor (auf YouTube ansehen) haben wir diese KubeCon auch als Wendepunkt beschrieben – von einer kontinuierlich innovierenden, jungen Community hin zu einer reifen und sich weiterentwickelnden Community. Das zeigt sich vor allem daran, dass erfolgreiche Unternehmen ihre Erfolge präsentieren, ohne ihre Learnings zu verschweigen.

Interessante Open-Source-Tools und Ankündigungen

• Kanister – eine Lösung für Application Data Management zur hohen Ausfallsicherheit zustandsbehafteter Anwendungen wie Datenbanken, auf der KubeCon im Kontext von Vektordatenbanken und global skalierendem RDS vorgestellt

• Chris Project – ein FOSS-Projekt für computergestützte Forschung und Medizin – vielleicht etwas für unsere Freunde aus den Life Sciences?

• Kueue – Kueue ist ein cloud-natives Job-Queueing-System für Batch-, HPC-, AI/ML- und ähnliche Anwendungen in einem Kubernetes-Cluster. Es geht aber weit darüber hinaus.

• Karmada – Karmada (Kubernetes Armada) ist ein Kubernetes-Managementsystem, mit dem sich cloud-native Anwendungen über mehrere Kubernetes-Cluster und Clouds hinweg betreiben lassen, ohne dass die Anwendungen angepasst werden müssen.

• Ray – Ray verwaltet, führt aus und optimiert Compute-Anforderungen über KI-Workloads hinweg

Verschiedenes

NVIDIAs Architektur für einen Digital Human.

Gemeinsam mit Andi Grabner von Dynatrace und Hilliary Lipsig von Red Hat habe ich ein Buch über Platform Engineering für Architekten geschrieben: „Crafting modern platforms as a product”. Dynatrace war so freundlich, 400 Bücher zu sponsern (auf dem Bild sind nur 60 zu sehen) – für eine Signierstunde während des Booth Crawls.

Mein Blick in die Zukunft

Ich vermute, auf künftigen KubeCons werden wir zunehmend Datenmanagement (großskalige Datenbanken und Vektordatenbanken) sowie Gen-/AI-Plattformen mit Kubernetes sehen. Von allen Endanwendern und aus der Marktforschung war die Botschaft eindeutig: Platform Engineering und IDPs sind das solide Fundament für GenAI. Über 50 % der Unternehmen setzen K8s für ihre GenAI-Plattformen ein, während Endanwender wie Reddit, Bloomberg oder das Boston Children’s Hospital durch cloud-native Plattformen und den Abbau ihrer Cloud-Komplexität kontinuierlich besser werden.

Die nächste KubeCon

Die nächste KubeCon + CloudNativeCon findet in der Woche des 1. April 2025 in London statt.