Die Gefahren von KI im Unternehmen: Was real ist und was übertrieben

Wenn wir mit Unternehmern auf Mallorca über Automatisierung sprechen, kommt das Gespräch fast immer an denselben Punkt: die Gefahren von KI im Unternehmen. Das ist eine berechtigte Sorge. Man liest Schlagzeilen über durchgesickerte Daten, über Systeme, die sich Antworten ausdenken, und über Arbeitsplätze, die verschwinden, und niemand möchte so etwas in ein Familienhotel in Alcúdia oder eine Klinik in Palma holen. In diesem Artikel gehen wir jede Gefahr ehrlich durch: wie wahrscheinlich sie in einem KMU ist, welchen realen Schaden sie anrichten kann und welche konkrete Regel sie unter Kontrolle hält. Das Fazit vorweg: Für ein normales Unternehmen existieren die Risiken, sie sind aber mit wenigen Regeln des gesunden Menschenverstands beherrschbar.

Halluzinationen: Das Modell erfindet Dinge

Das ist die realste Gefahr auf der Liste. Ein Sprachmodell kann mit voller Überzeugung schreiben, dass Ihr Hotel Haustiere akzeptiert, obwohl das nicht stimmt, oder einen Preis nennen, den es nicht gibt. Das passiert seltener als vor zwei Jahren, aber es passiert.

In einem KMU lautet die richtige Frage, wo es Schaden anrichten kann. Wenn der Agent einen Antwortentwurf für einen Kunden verfasst und eine Person ihn vor dem Versand prüft, kostet eine Halluzination zehn Sekunden Korrektur. Wenn der Agent allein und ohne Referenzdaten antwortet, erreicht der Fehler den Kunden.

Die Regel, die das neutralisiert:

• Der Agent antwortet auf Grundlage Ihrer Dokumente (Tarife, Bedingungen, Öffnungszeiten) und nicht aus seinem allgemeinen Gedächtnis.
• Alles, was nach außen geht, durchläuft einen menschlichen Freigabeschritt, zumindest in den ersten Monaten.
• Wenn der Agent die Information nicht findet, hat er die Anweisung zu sagen "ich kläre das und bestätige es Ihnen", anstatt die Lücke zu füllen.

Mit diesen drei Regeln wird aus einer Halluzination statt eines Risikos ein Tippfehler, den jemand korrigiert.

Datenlecks: Wo die Daten Ihrer Kunden landen

Hier sollte man zwei Dinge auseinanderhalten. Das eine ist, dass ein Mitarbeiter eine Kundenliste in ein kostenloses Verbrauchertool einfügt, dessen Bedingungen erlauben, diesen Text zum Training von Modellen zu verwenden. Das passiert, und es passiert, ohne dass es jemand entschieden hätte. Das andere ist, dass ein professionelles, sorgfältig konfiguriertes System Daten verliert, was deutlich unwahrscheinlicher ist.

Was wir bei Einführungen tun:

• Die Daten werden auf Servern innerhalb der Europäischen Union verarbeitet und gespeichert.
• Es werden Unternehmenskonten mit Auftragsverarbeitungsvertrag verwendet, keine privaten Konten.
• Der Agent greift nur auf das zu, was er für seine Aufgabe braucht: Wenn er Reservierungen verwaltet, sieht er keine Gehaltsabrechnungen.
• Es gibt ein einseitiges Dokument, das festlegt, welche Werkzeuge die Mitarbeiter mit welchen Daten nutzen dürfen.

Das Risiko eines Datenlecks in einem KMU entsteht fast immer durch die informelle Nutzung von Werkzeugen und kaum durch professionelle Automatisierung. Diese informelle Nutzung zu ordnen ist in der Praxis der erste Nutzen einer ernsthaften KI-Einführung.

Abhängigkeit: Was passiert, wenn der Anbieter verschwindet

Diese Sorge ist berechtigt und zugleich ziemlich übertrieben. Berechtigt, weil es Unternehmen gibt, die auf einer geschlossenen Plattform aufgebaut haben und dann erlebten, wie der Preis stieg oder der Dienst eingestellt wurde. Übertrieben, weil es heute Open-Source-Plattformen für Agenten gibt (wir arbeiten mit Hermes Agent und OpenClaw), die mit verschiedenen Modellen funktionieren: Claude, GPT, Gemini oder Grok. Wenn ein Modellanbieter seine Bedingungen ändert, wechselt man das Modell, und der Rest des Systems bleibt gleich.

Die Regel:

• Open-Source-Plattform, die Ihr Unternehmen weiter nutzen kann, auch wenn Sie den Dienstleister wechseln.
• Dokumentation jeder Automatisierung in verständlicher Sprache, aufbewahrt in Ihrem Unternehmen.
• Kein kritischer Prozess hängt allein vom Agenten ab: Fällt der Agent aus, kann das Team die Aufgabe wie früher von Hand erledigen, auch wenn es länger dauert.

Fehler im großen Maßstab: Ein Fehler, hundertmal wiederholt

Ein menschlicher Fehler betrifft einen Kunden. Ein Fehler einer schlecht konfigurierten Automatisierung kann alle Kunden dieses Vormittags betreffen. Diese Gefahr ist real und der Grund, warum wir am ersten Tag nichts im großen Stil aktivieren.

Wie man das handhabt:

• Zuerst Entwurfsmodus. Der Agent bereitet vor, eine Person gibt frei. In den Automatikmodus wechselt man nur bei Aufgaben, bei denen der Agent wochenlang keinen Fehler gemacht hat.
• Mengenbegrenzungen. Ein Agent, der Terminerinnerungen versendet, hat ein Tageslimit. Überschreitet er es, hält er an und meldet sich.
• Protokoll über alles, was er tut. Jede Aktion wird festgehalten, sodass man bei einem Problem genau weiß, was an wen gesendet wurde.
• Alarme, wenn etwas vom Normalen abweicht: null verarbeitete E-Mails an einem Montag oder fünfzig in einer Stunde sind Anzeichen dafür, dass etwas nicht stimmt.

Mit diesen Kontrollen wird aus dem Szenario "hundert Kunden haben eine falsche Nachricht erhalten" ein "der Agent hat nach fünf angehalten und Bescheid gegeben".

Die Angst des Teams: "Das soll mich ersetzen"

Diese Angst bremst mehr Einführungen als jeder technische Fehler. Wenn die Belegschaft glaubt, die Automatisierung sei die Vorstufe einer Kündigung, sabotiert sich die Einführung von selbst: Niemand meldet Fehler, niemand schlägt Verbesserungen vor, niemand nutzt sie.

Was in Familienunternehmen auf der Insel funktioniert:

• Von Anfang an erklären, welche Aufgaben automatisiert werden (die wiederkehrenden, das Kopieren von Daten von einem Ort zum anderen) und was in den Händen der Menschen bleibt (der Kundenkontakt, die Entscheidungen, die Ausnahmen).
• Mit der Aufgabe beginnen, die das Team am meisten hasst. Wenn der Agent ihnen das Ablegen von Tickets oder das Nachfassen von Angeboten abnimmt, ändert sich die Haltung.
• Einer Person im Team die Rolle der Aufsicht über den Agenten geben. Freigeben, korrigieren und Verbesserungen vorschlagen ist sichtbare und geschätzte Arbeit.

In der Hochsaison, wenn Hände fehlen, ist das Team meist das erste, das darum bittet, dass der Agent mehr übernimmt.

Häufige Fragen

Kann ein KI-Agent Entscheidungen treffen, ohne dass es jemand merkt?

Nur wenn er so konfiguriert wird, und das tun wir nicht. Ein gut eingeführter Agent hat begrenzte Berechtigungen, ein Protokoll jeder Aktion und Freigabeschritte bei allem, was Kunden oder Geld betrifft. Sie entscheiden, was er allein tun darf und wofür er Ihre Zustimmung braucht.

Ist es gefährlich, kostenlose KI-Tools im Unternehmen zu nutzen?

Das Risiko liegt in den Nutzungsbedingungen und in den Daten, die man dort einfügt. Für Tests ohne Kundendaten gibt es kein Problem. Für echte Arbeit mit personenbezogenen Daten empfiehlt sich ein Unternehmenskonto mit Auftragsverarbeitungsvertrag und Servern in der EU sowie eine klare interne Regel, was hochgeladen werden darf.

Was passiert, wenn der Agent bei einem Kunden einen Fehler macht?

Dasselbe wie bei einem Mitarbeiter: Man korrigiert, entschuldigt sich und passt den Prozess an. Der Unterschied ist, dass der Agent ein vollständiges Protokoll seiner Aktionen hinterlässt, sodass die Ursachensuche Minuten dauert. Im Entwurfsmodus wird der Fehler zudem entdeckt, bevor er nach außen geht.

Wenn Sie wissen möchten, welche Risiken wirklich auf Ihr Unternehmen zutreffen und welche Regeln nötig wären, um beruhigt zu automatisieren, beantwortet die Erstanalyse das mit Daten aus Ihrem eigenen Betrieb. Analyse anfragen