Das Problem: Die KI kennt Ihren Betrieb nicht
Ein Sprachmodell wurde mit öffentlichen Texten trainiert. Ihre Verträge, Preislisten, Handbücher und Arbeitsanweisungen kennt es nicht. Fragt man es trotzdem danach, rät es, und das führt zu Halluzinationen.
So funktioniert RAG
- Dokumente einlesen: Ihre Unterlagen werden in kleine Abschnitte zerlegt und so abgelegt, dass man sie nach Bedeutung durchsuchen kann, nicht nur nach exakten Wörtern. Diese Ablage heißt Vektordatenbank.
- Frage stellen: Eine Mitarbeiterin fragt zum Beispiel: „Welche Kündigungsfrist haben wir mit der Müller GmbH?“
- Passende Stellen finden: Das System sucht die Abschnitte heraus, die am besten zur Frage passen, etwa den Paragrafen aus dem Rahmenvertrag.
- Antwort formulieren: Das Sprachmodell bekommt Frage und Fundstellen und schreibt daraus eine Antwort in ganzen Sätzen.
- Quelle anzeigen: Zur Antwort wird das Dokument genannt, aus dem sie stammt. Ein Klick, und Sie können nachprüfen.
RAG oder eigenes Training?
Man könnte ein Modell auch mit den eigenen Daten nachtrainieren (Fine-Tuning). Für Firmenwissen ist RAG aber fast immer die bessere Wahl:
- Immer aktuell: Neue oder geänderte Dokumente sind sofort verfügbar, ohne neues Training.
- Nachprüfbar: Jede Antwort hat eine Quelle.
- Günstiger: Training braucht viel Rechenleistung und Fachwissen.
- Rechte bleiben erhalten: Man kann steuern, wer welche Dokumente durchsuchen darf. Was einmal in ein Modell trainiert ist, lässt sich nicht mehr gezielt sperren.
Worauf Sie achten sollten
- Zugriffsrechte: Die Personalakte darf nicht in der Antwort für den Azubi landen. Gute Systeme übernehmen die Berechtigungen aus Ihrer Dateiablage.
- Wo liegen die Dokumente? Für RAG mit einer Cloud-KI müssen Ihre Unterlagen beim Anbieter gespeichert werden. Bei lokaler KI bleiben sie im Haus.
- Qualität der Unterlagen: Veraltete oder widersprüchliche Dokumente führen zu veralteten oder widersprüchlichen Antworten. Ein kurzes Aufräumen vorher lohnt sich.
- Gescannte PDFs: Reine Bild-Scans müssen erst per Texterkennung (OCR) lesbar gemacht werden.
Was heißt das für Ihr Unternehmen?
- RAG macht aus einem allgemeinen Chatbot einen Kollegen, der Ihre Unterlagen kennt.
- Typische Einsätze: Fragen zu Verträgen, Produktdaten, internen Abläufen, Handbüchern und Preislisten.
- Gerade hier stecken vertrauliche Daten. Die Frage, wo die Dokumente verarbeitet werden, ist deshalb besonders wichtig.
AIrak arbeitet genau so: Sie geben der Box Ihre Unterlagen, zum Beispiel aus der Dateiablage, Nextcloud oder SharePoint, und Ihr Team stellt Fragen dazu. Die Dokumente bleiben dabei in Ihrem Firmennetz. Mehr zu AIrak