KI im Mittelstand im Jahr 2026: Pflicht statt Kür

Im Doppel-Interview erklären Dr. Maximilian Ahrens, Senior Vice President T-Digital, Deutsche Telekom Geschäftskunden GmbH, und Michael Locher-Tjoa, Leiter des Microsoft-Mittelstandgeschäfts für Deutschland, Österreich und die Schweiz, warum der Einstieg heute leichter denn je ist – und weshalb Unternehmen um die KI-Einführung kaum noch herumkommen.

Der Mittelstand ist das Rückgrat der deutschen Wirtschaft und weltbekannt für seine Innovationen. Aber warum sind viele dieser Unternehmen bei der KI-Einführung noch zurückhaltend? Was sind die größten Hürden?

Dr. Ahrens: Die größte Herausforderung ist nicht die Komplexität der Technologie, sondern deren Implementierung. Viele Mittelständler haben nur kleine IT-Teams und arbeiten zudem mit heterogenen Systemarchitekturen – deshalb denken sie, dass das Implementieren nicht einfach ist. Zudem sind sie sich oft auch nicht über den Nutzen im Klaren; es fehlt ihnen an Wissen über Einsatzmöglichkeiten. Deshalb haben wir unsere Initiative gestartet.

Locher-Tjoa: Leistungsfähige KI war zunächst nur für Unternehmen mit großen Datenmengen und beträchtlichen Budgets zugänglich. Das verändert sich gerade grundlegend: Heute können auch kleine und mittelständische Unternehmen einfach, sicher und verantwortungsvoll KI-Lösungen in ihre täglichen Unternehmensprozesse integrieren. Zum Beispiel durch Microsoft Copilot. Gemeinsam mit der Telekom unterstützen wir Unternehmen, passende Anwendungsfälle zu identifizieren, um KI in ihre Arbeitsprozesse zu integrieren. Microsoft bringt seine KI- und Cloud-Technologie ein und die Telekom ihre Erfahrung mit den speziellen Anforderungen des deutschen Mittelstands. Die Unternehmen erhalten Unterstützung bei der Einführung, Anpassung und nachhaltigen Verankerung von KI-Lösungen in ihren Arbeitsprozessen.

Aber wie wollen Sie dafür sorgen, dass jetzt eine echte Transformation in Gang kommt?

Dr. Ahrens: Indem wir nicht einfach nur etwas verkaufen, sondern vorher den Boden dafür bereiten. Eine KI-Transformation beginnt ja nicht mit der Frage, welches KI-Tool zum Einsatz kommen soll. Sie beginnt mit der Frage, wo und wie ein Unternehmen vom KI-Einsatz profitieren würde und ob es dadurch Mehrwert für sich selbst, für seine Kundschaft und für seine Angestellten schaffen kann. Deshalb betrachten wir KI nicht als isoliertes IT-Thema, sondern als Teil der digitalen Unternehmensentwicklung. Gemeinsam mit den jeweiligen Interessenten schauen wir, wo bei ihnen besonders viel manuelle Arbeit anfällt, wo Informationen schwer auffindbar sind und wo Routinearbeiten regelmäßig Zeit kosten. Daraus entsteht dann eine Use-Case-Landkarte. Anschließend starten wir mit kleinen Pilotprojekten. Das kann die KI-unterstützte Ausarbeitung von Angeboten sein oder die Recherche in Dokumenten. Im nächsten Schritt entwickeln wir dann KI-Agenten, die komplette Prozesse übernehmen. So haben wir z. B. gemeinsam mit dem Bauunternehmen Max Bögl mögliche Einsatzszenarien für KI-Agenten betrachtet, unter anderem zur Unterstützung bei Gefährdungsbeurteilungen im Arbeitsschutz, und dabei wichtige Erkenntnisse für die weitere Entwicklung gewonnen.

Für welche Unternehmen oder Branchen lohnt sich der Einsatz von KI besonders?

Locher-Tjoa: KI bietet besonders dort einen konkreten Mehrwert, wo Unternehmen viele Informationen verarbeiten und ihr Wissen in vielen Dokumenten und Systemen verteilt ist. Schon kleine Zeitgewinne bei wiederkehrenden Aufgaben können sich dann spürbar summieren. Das ist auch für mittelständische Unternehmen relevant: KI kann ihre Mitarbeitenden entlasten, damit sie mehr Zeit für Kunden, Innovationen und wertschöpfende Aufgaben haben. Für Unternehmen, die bereits Microsoft 365 nutzen, ist der Einstieg besonders einfach: Microsoft Copilot  bringt die KI-Unterstützung direkt in die Anwendungen, mit denen die Mitarbeitenden täglich arbeiten.

Und andersherum gefragt: Für wen lohnt sich KI nicht?

Locher-Tjoa: Die entscheidende Frage ist weniger, für wen sich KI lohnt, sondern wofür sie eingesetzt wird. Fast die Hälfte (45 Prozent) der deutschen Industrieunternehmen setzt beispielsweise schon KI-Agenten ein und fast drei Viertel (74 Prozent) hält bei der rasanten KI-Transformation gut mit, zeigt eine Techconsult-Umfrage im Auftrag von Microsoft. KI ist also von einer Kür zur Pflicht geworden. Doch wer sie ohne konkret geplante Anwendungsfälle einführt, wird nur schwer echte Vorteile erzielen. Viele mittelständische Unternehmen sammeln bereits praktische Erfahrungen mit KI, weil sie die Innovations- und Wettbewerbsfähigkeit stärkt. Das gilt besonders in Deutschland, wo wir viele Industrie-Unternehmen haben, die wahre Datenschätze besitzen, die sich durch KI noch besser verwerten lassen. Entscheidend ist dabei, dass KI die Menschen bei ihrer Arbeit unterstützt und nicht ersetzt.

KI-Agenten: mehr als klassische Chatbots

KI-Agenten sind also offenbar ein wichtiger Aspekt. Herr Dr. Ahrens, Sie sagten vorhin, dass die Telekom Unternehmen dabei hilft, eigene KI-Agenten zu bauen. Was sind hier die gefragtesten Use Cases? Und was können die Agenten konkret leisten?

Dr. Ahrens: Gefragte Use Cases sind vor allem Arbeiten, die von standardisierten Abläufen und wiederkehrenden Aufgaben geprägt sind. Im Vertrieb ist das zum Beispiel die Vorbereitung von Kundenterminen, im Einkauf die Auswertung von Anfragen und im Personalwesen das Onboarding. Was ein Agent dabei leistet, hängt vom Aufgabenprofil ab. In jedem Fall ist ein KI-Agent mehr als nur ein Chatbot – er kann nämlich nicht nur Fragen beantworten, sondern auch auf interne Daten zugreifen und angebundene Aktionen ausführen – entsprechende Schnittstellen vorausgesetzt. Beispiel Onboarding: Wenn ein neues Teammitglied einen Systemzugang bekommen soll, kann ein KI-Agent die Identität prüfen, Berechtigungen abgleichen und anschließend den Zugang bereitstellen. Der gesamte Vorgang wird dabei dokumentiert.

Das ist ein ziemlich sicherheitssensibler Anwendungsfall. Wie garantieren Microsoft und Telekom, dass durch KI keine Sicherheitsrisiken entstehen?

Locher-Tjoa: Gerade bei einem Anwendungsfall wie dem Onboarding sind klar definierte Zugriffsrechte unverzichtbar. Deshalb folgen unsere Lösungen dem „Least-Privilege-Prinzip“, das schon weit vor dem KI-Zeitalter galt: Nutzerinnen und Nutzer erhalten ausschließlich jene Berechtigungen, die sie für ihre Aufgaben benötigen – nicht mehr und nicht weniger. Und dasselbe gilt jetzt auch für ihre KI-Agenten. Wenn sie Unternehmensdaten nutzen, unterliegen die Agenten denselben Zugriffsregeln sowie denselben Vorgaben für Sicherheit, Datenschutz und Compliance wie die jeweilige Person. Deshalb sollten Unternehmen ihre Berechtigungen genau prüfen, damit es keine Überraschungen gibt, wenn die KI solche Daten systematisch nutzt und vielleicht auch überraschende Querverbindungen herstellt. Ein wichtiger Faktor ist außerdem die Datenhoheit: Alle Prompts, Antworten und Unternehmensdaten, auf die Microsoft Copilot zugreift, werden nicht zum Training von KI-Modellen verwendet. Die Daten unserer Unternehmenskunden gehören ihnen selbst, und mit unseren Lösungen behalten sie die Kontrolle darüber, wie sie genutzt werden.

Schatten-KI raus – Sicherheit und Kontrolle rein

Sicherheit ist im Kontext von KI ja auch noch in anderer Hinsicht ein Thema – Stichwort „Schatten-KI“. Ist die Einführung eines offiziellen Systems wie Microsoft Copilot da eine wirksame Gegenmaßnahme?

Dr. Ahrens: Ein lizenziertes System ermöglicht jedenfalls den geregelten Einsatz von KI. Der Wunsch, KI im Arbeitsalltag zu nutzen, ist bei den Beschäftigten vieler KMU ja längst vorhanden. Oft erfüllen sich die Beschäftigten diesen Wunsch allerdings selbst – in Eigenregie. Dadurch entstehen dann Datenschutz- und Compliance-Risiken. Mit einer freigegebenen Lösung, passenden Berechtigungen und entsprechenden Schulungen können Unternehmen einen sicheren Nutzungsrahmen schaffen und die unkontrollierte Nutzung zumindest reduzieren. Damit einher geht eine entsprechende Schulung der Beschäftigten. Letzteres ist enorm wichtig. Was viele Mittelständler nämlich nicht wissen: Der EU AI Act verpflichtet Unternehmen, die KI einsetzen oder bei denen jedenfalls KI-Nutzung stattfindet, verbindlich dazu, die KI-Kompetenz ihrer Beschäftigten zu stärken. Das gilt seit dem 2. Februar 2025.

Und wie unterstützen Sie Unternehmen da konkret?

Dr. Ahrens: Wir begleiten Unternehmen bei der Einführung von Copilot über den gesamten Weg. Das beginnt mit kostenfreien Webinaren und Orientierungsgesprächen, in denen wir gemeinsam passende Anwendungsfälle identifizieren. Danach geben unsere Experten von der Telekom MMS Starthilfe beim Rollout, und wir helfen auch bei der Schulung der Mitarbeitenden. Und auch später stehen wir den Unternehmen zur Seite. Gerade kleinere Unternehmen ohne eigene IT-Abteilung profitieren von diesem Support-Angebot.

Wenn wir einmal drei Jahre vorspulen – wie wird sich das Geschäft eines typischen Mittelständlers dann durch KI verändert haben? 

Locher-Tjoa: In drei Jahren spricht kein Mittelständler mehr von KI-Projekten, denn sie ist dann ein etabliertes Werkzeug, bei dem nur noch die Ergebnisse zählen. KI-Agenten erledigen dann ganze Abläufe vom Angebot bis zur Rechnung. Mitarbeitende werden eigene Agenten-Teams führen, für die sie die Richtung vorgeben und die Verantwortung tragen. KI ersetzt die Menschen also nicht, doch sie verstärkt ihre Fähigkeiten. Für Mittelständler ist das die größte Chance seit Jahrzehnten, denn sie können dadurch planen und liefern wie Großunternehmen – aber dennoch ihre kurzen Entscheidungswege als Vorteil ausspielen.

Die Gewinner dieser Entwicklung werden jene Unternehmen sein, die ihre bisherigen Abläufe überprüfen und konsequent auf KI ausrichten. Wer KI-Agenten bloß auf alte Prozesse ansetzt, automatisiert damit auch die Umwege von gestern. Und wenn die Babyboomer in Rente gehen, werden KI-Agenten ihr Erfahrungswissen für die nächste Generation sichern. Denn KI kann jeder kaufen. Doch das eigene Know-how unserer mittelständischen Unternehmen ist unbezahlbar.

Dr. Ahrens: Damit nicht genug: Es wird in ein paar Jahren nicht mehr nur um Produktivitätssteigerung gehen, sondern um komplett neue Geschäftsmodelle und Formen der Kundeninteraktion. So könnten mittelständische Unternehmen etwa „Micro-Consulting“ als KI-gestützte Serviceleistung anbieten: Sie stellen ihr Fachwissen – Maschinenbau, Steuerberatung oder Laboranalytik – in Form eines kostenpflichtigen KI-Agenten zur Verfügung. Das ist heute bereits absehbar.

Vielen Dank für das Gespräch!

Bilder: DC Studio / Magnific, Telekom Deutschland