01 Lösung · KI-Infrastruktur
GPU-Server mieten reicht nicht. Sie brauchen KI-Infrastruktur, die im Betrieb trägt.
Wir bauen und betreiben Inferenz- und Modell-Hosting-Infrastruktur in einer Umgebung, die Sie kontrollieren: im eigenen Rechenzentrum oder in einem europäischen, souveränen Rechenzentrum. Der Einstieg ist eine Readiness-Prüfung, keine Bestellung. Sie bekommen Consulting, Aufbau und Betrieb aus einer Hand.
Erstgespräch buchen- Einstieg
- Readiness-Prüfung: Dateninfrastruktur, Rechenkapazität, Souveränität
- Betriebsort
- On-Premise oder europäisches, souveränes Rechenzentrum
- Modelle
- Offene Modelle der Llama- und Mistral-Familie, Kontrolle über Versionen
- Betrieb
- 24/7 mit Rufbereitschaft, Patch- und Eskalationsmanagement
02 Ausgangslage
Der Engpass ist der Betrieb, nicht das Modell
Je nach Studie und Definition erreichen zwischen 42 Prozent (S&P Global, „2025 Voice of the Enterprise") und über 80 Prozent (RAND Corporation) der KI-Initiativen den produktiven Betrieb nicht. Die Ursachen liegen selten im Modell.
Der Pilot lief auf einer Maschine
Ein Proof of Concept braucht einen Datenexport und eine GPU. Der Regelbetrieb braucht Orchestrierung, Mandantentrennung, Monitoring und einen Wiederanlauf. Dieser Schritt wird selten als eigenes Projekt geplant, und danach ist niemand zuständig, wenn die Anwendung um drei Uhr nachts nicht antwortet.
Jede Anfrage verlässt Ihr Haus
Bei externen Modell-APIs geht jede Anfrage samt der Daten im Prompt hinaus. Meist ist nicht dokumentiert, welche Inhalte das sind. Standard-Nutzungsbedingungen erlauben zudem die Weitergabe von Daten zur Modellverbesserung: Ihren Kunden gegenüber müssen Sie das Gegenteil belegen können.
GPU-Kapazität wird beschafft, nicht geplant
Wer GPU-Server fallweise kauft oder mietet, hat keine Kapazitätsplanung und keine belastbare Make-or-Buy-Rechnung. Ohne erwartetes Anfragevolumen über zwölf Monate und ohne Aussage zur Gleichmäßigkeit der Auslastung ist jede Investitionsentscheidung ein Bauchgefühl.
Dazu kommt die Nachweisfrage: Für Hochrisiko-Systeme verlangt der EU AI Act Konformitätsbewertung und Nachweisführung. Wer nicht weiß, wo seine Inferenz stattfindet, kann nichts davon belegen.
03 Die Lösung
Inferenz läuft in Ihrer Umgebung, nicht in einer Blackbox
Die KI Engine ist aus drei bewusst austauschbaren Bausteinen gebaut. Neue Modellversionen, andere Hardware-Backends oder ein Wechsel der Hosting-Umgebung erfordern deshalb keine Neuentwicklung. Davor steht die Prüfung, ob sich das für Sie überhaupt rechnet.
KI-Infrastruktur-Readiness
Technisches Assessment der Voraussetzungen: Dateninfrastruktur, verfügbare Rechenkapazität, GPU-Bedarf und Souveränitätsanforderungen. Eine reine Plattformfrage, keine Bewertung Ihrer Anwendungsfälle.
Machbarkeitsprüfung und Make-or-Buy
Wir quantifizieren Modellgröße, erwartete Last und Wartungsaufwand und rechnen Make or Buy über drei Größen: erwartetes Anfragevolumen, Laufzeit der Nutzung, Gleichmäßigkeit der Auslastung. Die Rechnung ist in beide Richtungen offen.
Hosting-Schicht
Die Schicht für offene oder lizenzierte Modelle, typischerweise LLMs, ergänzt um Bild- oder Embedding-Modelle. Sie behalten die Kontrolle über Modellversionen, ein Anbieter-Update ändert Ihr Modellverhalten nicht ungefragt.
Inferenz-Laufzeitumgebung
Die Laufzeitumgebung auf GPU- oder spezialisierter Beschleunigerhardware. Dimensioniert auf die Modellgröße und die Last aus der Machbarkeitsprüfung, nicht auf ein Datenblatt.
Orchestrierungsschicht
Skalierung, Lastverteilung und Zugriffssteuerung, dazu Mandantentrennung und Wiederanlauf. Das ist die Schicht, an der Pilotprojekte auf dem Weg in den Regelbetrieb scheitern.
Managed Betrieb
Betrieb der KI Engine mit definierter Verfügbarkeit und Kapazitätssteuerung: Monitoring von Latenz, Kosten und Modellqualität, Update-Management für Modelle, Skalierung nach Last und ein monatlicher Compliance- und Kosten-Report.
04 So läuft es ab
Vier Schritte, drei Ausstiegspunkte
Jedes Vorhaben beginnt mit einer Prüfung, nicht mit einer Bestellung. An jedem Übergang steht eine Go/No-Go-Entscheidung.
Schritt 1
Readiness
Wir sehen uns an, was vorhanden ist: Daten, Rechenkapazität, Plattform, Souveränitätsanforderungen. Ergebnis ist eine Liste dessen, was für produktive KI-Workloads fehlt.
Schritt 2
Machbarkeit und Make-or-Buy
Zielbild, Kapazitätsplanung und die Laufzeitrechnung gegen die API-Nutzung. Erste Go/No-Go-Entscheidung. „Die API bleibt günstiger" ist ein zulässiges Ergebnis.
Schritt 3
Aufbau und Pilot
Hosting-Schicht, Inferenz-Laufzeitumgebung und GPU-Orchestrierung werden gebaut und mit echten Anfragen belastet, während Ihre bestehenden Werkzeuge weiterlaufen. Zweite Go/No-Go-Entscheidung.
Schritt 4
Betrieb
Übergang in den Managed Betrieb mit Monitoring, Kapazitätssteuerung und Update-Management. Frühe Kundenprojekte begleiten wir technisch besonders eng.
Fachliche KI-Strategie, also die Frage, welche Anwendungsfälle sich lohnen, gehört in Ihre Fachbereiche oder zu spezialisierten Beratungshäusern. Wir verantworten die Plattform und ihren Betrieb.
05 Belege
Was belegt ist: die Plattform darunter
Die KI Engine ist im Aufbau. Ein abgeschlossenes Referenzprojekt gibt es nicht, und wir behaupten keines. Belegt ist die Schicht, auf der eine Inferenz-Umgebung aufsetzt: Container, Speicher, Netz und ein Betrieb, der Last aushält.
GeoMobile Digitalisierungspartner für den ÖPNV. Die gesamte Anwendung zog von virtuellen Maschinen auf Container um, inklusive getrennter Umgebungen und Schulung des eigenen Dev-Teams. Seit Jahren über 99,9 Prozent Verfügbarkeit bei deutlich kürzeren Deployment-Zyklen. Kubernetes · Istio · Velero · CephFS · PostgreSQL 
konversionsKRAFT Digital-Marketing mit rund 80 Mitarbeitenden. SaaS-Plattform mit Terabit-Datenmengen, konsolidiert auf eine hochverfügbare Private Cloud mit redundantem Datenbank-Cluster. Proxmox · Percona · GitLab 
Aerosoft Simulationssoftware mit brutalen Lastspitzen zu Produkt-Launches und am Black Friday. Verfügbarkeit dauerhaft über 99,9 Prozent, der komplette Stack von Netzwerk über Virtualisierung bis Datenbank aus einer Hand. Proxmox · HAProxy · Percona · Redis 06 Zum Weiterlesen und Prüfen
Kostenloses Whitepaper · 8 Seiten
KI Engine
Von Andreas Hankel, CTO onehundred. Download gegen E-Mail-Adresse, ohne Vertriebsanruf.
07 Ehrlich gesagt
Was Sie an dieser Stelle zu Recht fragen
„Ist die KI Engine ein fertiges Produkt, das wir einfach buchen können?"
Nein. Es gibt keinen Konfigurator und keinen Ein-Klick-Ersatz für Cloud-APIs. Jedes Vorhaben beginnt mit einer Machbarkeits- und Souveränitätsprüfung, und deren Ergebnis kann lauten, dass Sie bei der API bleiben sollten.
„Rechnet sich eigene Inferenz für ein Unternehmen unserer Größe?"
Möglicherweise nicht. Eigene Inferenz-Infrastruktur hat hohe Grundkosten und niedrige Grenzkosten. Bei kleinen oder stark schwankenden Volumina schlagen externe Modell-APIs eigene Infrastruktur häufig weiterhin. Es gibt aber Fälle, in denen die Souveränitätsanforderung die Kostenrechnung überstimmt: dann ist sie die Entscheidung, nicht die Rechnung.
„Müssen wir unsere bestehenden KI-Werkzeuge dafür ablösen?"
Nein, ein hybrides Modell ist oft das sinnvollere. Unkritische Anwendungsfälle laufen weiter über Standard-Werkzeuge, sensible oder kundenbezogene Verarbeitung über die eigene KI Engine. Welche Anfragen Ihre Umgebung nicht verlassen dürfen, klären wir in der Consulting-Phase.
„Beraten Sie uns auch dazu, wo sich KI bei uns lohnt?"
Nein, das ist bewusst nicht unser Feld. Fachliche KI-Strategie, Anwendungsfall-Bewertung und die Integration bestehender SaaS-Werkzeuge liegen bei Ihren Fachbereichen oder bei spezialisierten Beratungshäusern. Ebenso wenig übernehmen wir die rechtliche Bewertung nach EU AI Act oder DSGVO: Wir verantworten, dass die Architektur technisch nachweisfähig ist.
08 Fasttrack-Analyse
Prüfen Sie zuerst, ob es sich rechnet
Das Erstgespräch ist unverbindlich. Sie schildern den Anwendungsfall, wir sagen Ihnen, welche Fragen vor einer Investitionsentscheidung beantwortet sein müssen und welche Größen in die Make-or-Buy-Rechnung gehören.
15 Minuten · kein Vertriebstermin · Termin direkt im Kalender
09 Häufige Fragen
Häufige Fragen zu KI-Infrastruktur und LLM-Hosting
LLM selbst hosten oder eine API nutzen?
Wann lohnt sich eigene LLM-Inferenz?
Welche GPU brauchen wir für LLM-Inferenz?
Wie lassen sich Llama oder Mistral DSGVO-konform hosten?
Wer übernimmt den MLOps-Betrieb inklusive Monitoring und Drift?
Ab wann gelten die Hochrisiko-Pflichten des EU AI Act?
Was ist der Unterschied zwischen Inferenz und Training?
Betreiben Sie LLM-Hosting in Deutschland?
10 Wissen · KI-Infrastruktur
Zum Weiterlesen
Der Grundlagenartikel ordnet ein, was KI-Infrastruktur umfasst und warum KI-Sicherheit eine Infrastrukturfrage ist.