Ich habe den Großteil der letzten drei Jahrzehnte damit verbracht, CIOs multinationaler Unternehmen und Organisationen des öffentlichen Sektors mit einigen der weltweit komplexesten Enterprise-Technologieumgebungen zu beraten. Ich habe miterlebt, wie Unternehmen das Internetzeitalter, das Cloud-Zeitalter und das Zeitalter der Mobilität durchlaufen haben. Jede dieser Wellen hat verändert, wie IT-Führungskräfte über Infrastruktur denken. Doch das, was aktuell passiert, ist anders – folgenreicher und dringlicher als alles, was ich bisher erlebt habe.
Wir befinden uns in der Ära der KI-Umsetzung, und die meisten Organisationen sind nicht darauf vorbereitet.
Das ist keine Kritik. Es ist eine Beobachtung, die auf Gesprächen basiert, die ich jede Woche mit CIOs, CISOs und Infrastrukturverantwortlichen führe, die sich alle mit derselben schwierigen Wahrheit auseinandersetzen: KI ist über die Infrastruktur hinausgewachsen, die zu ihrer Unterstützung aufgebaut wurde.
Das Problem ist nicht Ihre KI-Strategie, sondern das, was darunterliegt
Ich höre oft von Organisationen, die erheblich in KI investiert haben. Die Pilotprojekte funktionierten, der Vorstand war begeistert und die Business Cases wurden genehmigt. Doch dann, irgendwo zwischen Ambition und Umsetzung, geriet alles ins Stocken. Modelle, die in kontrollierten Umgebungen hervorragend funktioniert hatten, begannen im produktiven Einsatz und bei Skalierung Probleme zu machen. Die Latenzzeiten stiegen, die Kosten nahmen zu und das Sicherheitsteam begann, Bedenken zu äußern. Der ROI, der auf einer Folie so überzeugend gewirkt hatte, blieb aus.
Der erste Impuls ist, das Modell, die Daten oder den Anbieter dafür verantwortlich zu machen. Doch in fast jedem Fall liegt die eigentliche Ursache in der darunterliegenden Infrastruktur.
KI-Workloads treten nicht in einzelnen Schüben auf; sie erzeugen einen kontinuierlichen operativen Puls. Inferenz läuft dauerhaft, Daten sind ständig in Bewegung und Latenz ist heute ein geschäftsrelevantes Ergebnis. Die aktuelle Infrastruktur vieler Organisationen wurde jedoch für einen völlig anderen Rhythmus entwickelt – für die transaktionalen, punktuellen Anforderungen von Legacy-Systemen.
Laut dem 2026 Global AI Report: A Playbook for Private and Sovereign AI von NTT DATA stimmen 98 % der Organisationen zu, dass ihre derzeitige Infrastruktur die Einführung von KI verlangsamt. Das ist ein strategischer Notfall.
KI-Infrastrukturschulden: Die versteckte Belastung
Jede Organisation trägt etwas mit sich, das ich als KI-Infrastrukturschulden bezeichne. Damit sind die Kosten gemeint, die entstehen, wenn moderne KI auf Systemen betrieben wird, die für eine andere Ära gebaut wurden – und diese Kosten steigen schnell:
- Veraltete Plattformen erfordern immer mehr Aufwand, nur um stabil zu bleiben.
- Traditionelle Infrastruktur kann nicht in dem Maße skalieren, wie KI die Enterprise-Landschaft erweitert.
- Anbieterabhängigkeiten erhöhen die Gesamtbetriebskosten.
- Fragmentierte Multi-Vendor-Umgebungen verursachen operative Reibungsverluste – genau dort, wo Geschwindigkeit und Kontrolle am wichtigsten sind.
Was zunächst als beherrschbare Reibung beginnt, wird zu einer strukturellen Einschränkung. Und während die Investitionen steigen, wächst die Wirkung nicht entsprechend mit. Dieses Problem lässt sich lösen, erfordert jedoch einen grundlegend anderen Infrastrukturansatz, als ihn die meisten Organisationen derzeit verfolgen.
Der Auftrag hat sich verändert. Hält Ihr Betriebsmodell Schritt?
Ich spreche jeden Tag mit Technologieverantwortlichen, die das Problem intellektuell verstehen, aber mit der Umsetzung kämpfen – und ich verstehe, warum. Der Auftrag hat sich grundlegend verändert. CIOs sollen heute schnell modernisieren, umfassend absichern, breit automatisieren und KI verantwortungsvoll skalieren – alles gleichzeitig und mit Budgets, die nicht im gleichen Maße gewachsen sind wie die Ambitionen.
Was dies besonders herausfordernd macht: Die Hürde ist sowohl technischer als auch operativer Natur. Die meisten Organisationen betreiben ihre Infrastruktur noch immer auf dieselbe Weise: reaktiv, ticketbasiert und abhängig von der manuellen Interpretation von Signalen über fragmentierte Umgebungen hinweg. Im KI-Maßstab wird dieses Betriebsmodell zur Belastung. Es erzeugt Reibungsverluste, treibt Kosten in die Höhe und schafft Risiken – genau dann, wenn Geschwindigkeit und Kontrolle am wichtigsten sind.
Wir brauchen eine grundlegende Veränderung darin, wie Infrastruktur geplant, verwaltet und gemessen wird.
3 Dinge, die in Ihrer Organisation richtig umgesetzt werden müssen
Bei NTT DATA haben wir unser Denken entlang von drei Dingen strukturiert, die zusammenwirken müssen – nicht als separate Arbeitsstränge oder Checkliste, sondern als ein integriertes Umsetzungsmodell.
1. Modernisierung der KI-Grundlage
Das bedeutet, Ihren Infrastruktur-Stack für kontinuierliche Inferenz neu aufzubauen, statt nur Bestehendes zu reparieren. Gestalten Sie Ihr Netzwerk für dauerhaft hohen KI-Datenverkehr, verankern Sie Sicherheit von Anfang an im Design, damit Kontrollen skalieren, ohne die Inferenz einzuschränken, und modernisieren Sie Ihre Daten- und Speicher-Pipelines, damit Accelerated Computing kontinuierlich versorgt werden kann.
2. KI in Ihre IT-Operations integrieren
Das ist der Punkt, der mir besonders am Herzen liegt, denn hier hört KI auf, ein Projekt zu sein, und wird zu der Art und Weise, wie Ihre Organisation tatsächlich arbeitet. Unsere agentische Software-defined Infrastructure (SDI) Services-Plattform führt Sie von reaktiven Betriebsabläufen zu einem intelligenten, stets aktiven Betriebsmodell. Der SDI Services Agent liefert multivendorfähige Intelligenz über komplexe Umgebungen hinweg – über natürliche Sprache. Sie entwickeln sich von SLAs hin zu wertorientierten Vereinbarungen und vom reinen Aufrechterhalten des Betriebs hin dazu, Infrastrukturleistung in messbare Geschäftsergebnisse zu verwandeln.
Eine sichere, enterprise-taugliche Infrastrukturgrundlage in Kombination mit einer dialogorientierten, agentischen Service Experience ist heute ein strategischer geschäftlicher Differenzierungsfaktor.
3. Skalierung mit Vertrauen und Kontrolle
Vertrauen ist die Grundlage, auf der autonome KI verantwortungsvoll skalieren kann – und genau hier sehe ich, dass die meisten Organisationen einen entscheidenden Fehler machen.
Governance, Prüfbarkeit und Sicherheit können nicht nachträglich ergänzt werden. Wenn KI skaliert, berührt sie mehr Systeme, läuft an mehr Orten und verlagert sich zunehmend an den Edge. Jede neue Implementierung ohne von Anfang an integriertes Vertrauen schafft einen neuen Risikopunkt – eine neue Lücke zwischen dem, was KI tut, und dem, was sichtbar, überprüfbar und kontrollierbar ist.
Deshalb wird unsere Enterprise AI Factory bei Ihnen vor Ort bereitgestellt – wobei Anforderungen an souveräne und private KI, also Datensouveränität, Security by Design und Compliance by Architecture, als Prioritäten erster Ordnung behandelt werden. Das Wort „private“ ist bewusst gewählt. Es signalisiert jedem CIO und CISO etwas Konkretes: Ihre Daten bleiben dort, wo sie hingehören. Ihre Modelle laufen dort, wo Ihre Regulierungsbehörden es vorschreiben. Ihre Kontrollmechanismen sind fest eingebettet – nicht nur angenommen.
Dies ist der Moment
Ich habe diesen Artikel mit der Aussage begonnen, dass wir uns in der Ära der KI-Umsetzung befinden. Lassen Sie mich genauer erklären, was das bedeutet.
Es bedeutet, dass das Zeitfenster für gezielte, auf einer soliden Grundlage aufbauende Infrastrukturinvestitionen genau jetzt offen ist. Es wird nicht unbegrenzt offen bleiben. Wenn KI-Workloads skalieren, steigen die Kosten und die Komplexität, die richtige Grundlage nachträglich zu schaffen, exponentiell. Wenn Sie diese Entscheidungen heute treffen, bauen Sie einen strukturellen Vorteil auf.
Infrastructure Solutions bei NTT DATA unterstützt Sie dabei, KI kontinuierlich und in großem Maßstab auf einer vertrauenswürdigen Kerninfrastruktur aufzubauen und zu betreiben. Dieses Versprechen wird von 4.700 zertifizierten Expertinnen und Experten in 165 Ländern getragen und genießt das Vertrauen von 75 % der Fortune Global 100.
Laut einer IDC Market Note begrüßt IDC, dass die Einheit Infrastructure Solutions mittlerweile zu einem der zentralen Bestandteile der Gesamtstrategie von NTT DATA geworden ist. Dies verdeutlicht den Einfluss, den KI auf den Markt hat, sowie die Bedeutung einer modernen Infrastrukturgrundlage, die Relevanz wichtiger Partner in Bereichen wie Networking und Security und die Innovationsinvestitionen von Servicepartnern wie der zuvor beschriebenen Infrastructure-Services-Organisation von NTT DATA.*
Die führenden Unternehmen des nächsten Jahrzehnts werden durch die Grundlagen definiert, die sie heute schaffen. Wenn Sie bereit sind, von Pilotprojekten in die operative Realität überzugehen, möchte ich Ihnen genau zeigen, wie das gelingt.
Was als Nächstes zu tun ist
Laden Sie unseren Leitfaden herunter, Architecting infrastructure for the secure AI enterprise, und buchen Sie noch heute Ihr AI Infrastructure Readiness Assessment.
* IDC Market Note. NTT DATA Infrastructure Solutions Are a Cornerstone of Its AI Strategy (Doc #US54246126). February 2026.