Kostenloses Whitepaper

KI Engine im eigenen Betrieb: der Engpass ist der Betrieb, nicht das Modell.

Inferenz und Modell-Hosting unter eigener Kontrolle. Acht Seiten von Andreas Hankel, CTO onehundred, für IT-Entscheider, CTOs und Cloud-Verantwortliche.

Andreas Hankel

CTO onehundred · Ex-CTO idealo · CIO des Jahres 2014

„Der Engpass bei eigener KI-Infrastruktur ist selten das Modell, das lässt sich fast immer austauschen. Der Engpass ist der Betrieb: GPU-Kapazität, Monitoring, Wiederanlauf um drei Uhr nachts. Wer das ernst nimmt, bevor der Pilot zum Regelbetrieb wird, spart sich die teuerste Korrektur.“

Andreas Hankel, Autor des Whitepapers

Ex-CTO idealo: Fast neun Jahre, 2016 bis 2025.
CIO des Jahres 2014: Kategorie Mittelstand, verliehen von IDG, CIO-Magazin und Computerwoche. Als VP Technology bei ImmobilienScout24 hat er den Serverbetrieb zurück ins Unternehmen geholt, eine eigene Private Cloud gebaut und die Virtualisierungsplattform gewechselt, bei laufendem Betrieb.
Über 30 Jahre in der IT: Seit 1990, davon 18 Jahre Fiducia IT, danach ImmobilienScout24 und idealo.

„Was entstanden ist, ist vorbildlich und weist den Weg für die Gestaltung von Systemen der Zukunft.“
Manfred Broy, Jury CIO des Jahres 2014

Whitepaper anfordern

Sie bekommen das PDF per E-Mail an Ihre Firmenadresse.

Die Lage

Zwischen 42 und über 80 Prozent: warum KI-Initiativen am Betrieb scheitern.

Die Frage, ob KI-Workloads bei einem Hyperscaler oder in einer selbst kontrollierten Umgebung laufen, wird meist erst gestellt, wenn der Pilot fertig ist. Das ist der ungünstigste Zeitpunkt: Bis dahin sind Datenflüsse, Werkzeuge und Erwartungen gesetzt.

42 bis über 80 %

der KI-Initiativen erreichen je nach Studie und Definition den produktiven Betrieb nicht. Ursache ist überwiegend GPU-Kapazitätsplanung, fehlende Datenpipelines und ein fehlendes Betriebsmodell für den Dauerbetrieb, nicht das Modell selbst.

Quelle: S&P Global, IDC/Lenovo, RAND Corporation

2. Dezember 2027

Ab diesem Datum gelten die Hochrisiko-Pflichten des EU AI Act für eigenständige KI-Systeme, für in Produkte eingebettete Systeme ab August 2028. Wer noch auf den ursprünglichen Termin August 2026 plant, hat mehr Zeit als angenommen, aber auch Nachweispflichten, die tief in die Systemarchitektur reichen.

Quelle: Europäische Kommission / AI Act Service Desk, Council of the EU

Drei Bausteine

Hosting-Schicht, Inferenz-Laufzeitumgebung und Orchestrierungsschicht bilden die KI Engine, bewusst austauschbar ausgelegt, damit neue Modellversionen oder ein Wechsel der Hosting-Umgebung keine Neuentwicklung erfordern.

Quelle: onehundred, Whitepaper 07

Was drinsteht

Läuft Ihre Inferenz da, wo sie hingehört?

Das Whitepaper behandelt drei Thesen: warum Souveränität über den Ort der Inferenz entscheidet, warum der Engpass der Betrieb ist und nicht das Modell, und warum Make-or-Buy eine Laufzeitrechnung ist. Zu jeder These stehen drei Fragen, mit denen Sie den eigenen Stand in wenigen Minuten einordnen.

01

Souveränität entscheidet über den Ort der Inferenz

Bei der Nutzung externer Modell-APIs verlässt jede Anfrage die eigene Umgebung, inklusive der Daten im Prompt. Für einen Teil der Anwendungsfälle ist das unproblematisch. Für Anfragen mit Personenbezug, Geschäftsgeheimnissen oder regulierten Inhalten ist es eine Frage, die vor dem Pilotprojekt geklärt sein muss und nicht danach. Der EU AI Act verschärft das um eine Dokumentationsebene: Für Hochrisiko-Systeme sind Konformitätsbewertung und Nachweisführung gefordert, die technisch in die Architektur hineinreichen.

02

Der Engpass ist Betrieb, nicht Modell

Die Studien zu gescheiterten KI-Initiativen sind in der Höhe uneinheitlich, 42 % Abbruchquote laut S&P Global, 88 % nicht ausgerollte Proof-of-Concepts laut IDC/Lenovo, über 80 % gescheiterte Projekte laut RAND, in der Ursache aber überwiegend deckungsgleich: nicht das Modell, sondern GPU-Kapazitätsplanung, Datenpipelines und ein Betriebsmodell für den Dauerbetrieb. Eine KI Engine im eigenen Betrieb macht diese Anforderungen sichtbar, statt sie zu verdecken. Das ist der eigentliche Vorteil gegenüber einer API: Man weiß, was der Betrieb kostet.

03

Make-or-Buy ist eine Laufzeitrechnung

Externe APIs sind pro Anfrage abgerechnet und ohne Vorlauf nutzbar, das ist bei geringem oder schwankendem Volumen unschlagbar. Eigene Inferenzinfrastruktur hat hohe Grundkosten und niedrige Grenzkosten, sie rechnet sich ab einer gewissen, konstanten Auslastung. Die Entscheidung ist damit keine Grundsatzfrage, sondern eine Rechnung über drei Größen: erwartetes Anfragevolumen, Laufzeit der Nutzung und Gleichmäßigkeit der Auslastung, ergänzt um die Fälle, in denen die Souveränitätsanforderung die Rechnung überstimmt.

Weitere Kapitel

Technische Vertiefung: Drei austauschbare Bausteine
Nutzen und Wirtschaftlichkeit
Was passiert, wenn Sie nichts tun
Was onehundred hier übernimmt
Häufig gestellte Fragen
Fazit: Wo stehen Sie?
Quellen

Was onehundred übernimmt

Consulting, Transition, Operation.

onehundred baut und betreibt KI-Infrastruktur für Inferenz und Modell-Hosting in einer selbst kontrollierten oder souveränen Umgebung.

Consulting

technische Machbarkeits- und Souveränitätsprüfung, Make-or-Buy-Rechnung, Kapazitätsplanung

Transition

Aufbau der Inferenz- und Hosting-Infrastruktur inklusive GPU-Orchestrierung

Operation

Managed Betrieb der KI Engine mit definierter Verfügbarkeit und Kapazitätssteuerung

Zwei Grenzen offen benannt: Die fachliche KI-Strategie – welche Anwendungsfälle sich lohnen – liegt nicht bei onehundred, sondern in Ihren Fachbereichen oder bei spezialisierten Beratungshäusern. Und: Das Team traut sich den Bau zu, hat ihn in dieser Form aber noch nicht in einem Referenzprojekt belegt. Wir sagen das im Erstgespräch, statt es zu überspielen.

Zur Lösung: KI-Infrastruktur Leitfaden: KI-Infrastruktur

Nachgefragt

Häufig gestellte Fragen.

Ist KI Engine ein fertiges Produkt, das wir einfach buchen können?

Nein, und wir sagen das bewusst offen. KI Engine ist ein im Aufbau befindliches Angebot mit belastbarer technischer Basis, aber noch ohne abgeschlossenes Referenzprojekt. Jedes Vorhaben beginnt deshalb mit einer Machbarkeitsprüfung statt mit einer Bestellung.

Deckt KI Engine unseren gesamten KI-Beratungsbedarf ab?

Nein. Die größte Nachfrage im Themenfeld KI ist Beratung und Integration bestehender Tools, dafür ist KI Engine nicht gedacht. Es adressiert spezifisch den Betrieb eigener, selbst kontrollierter Inferenz-Infrastruktur.

Müssen wir bestehende KI-Tools ablösen?

Nicht zwingend. In der Praxis ist ein hybrides Modell oft sinnvoll: unkritische Anwendungsfälle weiter über Standard-Tools, sensible oder kundenbezogene Verarbeitung über die eigene KI Engine. Welche Aufteilung sinnvoll ist, klären wir in der Consulting-Phase.

Rechnet sich eigene KI-Infrastruktur für ein Unternehmen unserer Größe?

Das lässt sich nicht pauschal beantworten und hängt von Datenvolumen, Sensibilität der Anwendungsfälle und Kundenanforderungen ab. Bei geringem Volumen kann eine API-basierte Lösung günstiger bleiben. Genau diese Rechnung liefern wir transparent in der Machbarkeitsprüfung.

Fazit

Wo stehen Sie?

Die KI Engine ist eine Betriebsentscheidung, nicht eine Modellentscheidung. Souveränität bestimmt, wo Inferenz laufen darf, Auslastung und Laufzeit bestimmen, ob eigener Betrieb sich rechnet, und der Dauerbetrieb entscheidet, ob überhaupt etwas produktiv geht. Die neun Fragen klären diese drei Punkte in der Reihenfolge, in der sie auch im Projekt anfallen.

Souveränität: wo Inferenz laufen darf
Auslastung und Laufzeit: ob eigener Betrieb sich rechnet
Dauerbetrieb: ob überhaupt etwas produktiv geht

Whitepaper laden

Warum jetzt

Wer erst reagiert, wenn ein Kunde die Frage stellt, wo die eigenen Daten laufen, hat keine Zeit mehr für einen solide gebauten Aufbau. Die Machbarkeitsprüfung jetzt zu durchlaufen kostet vergleichsweise wenig.