KI-Wissensdatenbank aufbauen: RAG-Leitfaden für Unternehmen

Produkthandbücher liegen auf dem Netzlaufwerk, Richtlinien im Intranet und die Preisregeln im Kopf des Vertriebsleiters, also bedeutet eine einzige Frage oft, drei Leute zu fragen. Mit einer KI-Wissensdatenbank stellen Mitarbeiter oder Kunden ihre Frage in normaler Sprache und erhalten eine Antwort aus Ihren eigenen Dokumenten, samt Quellenangabe. Hier lesen Sie, wie RAG funktioniert, wie Sie eine KI-Wissensdatenbank in sechs Schritten aufbauen, welche Lösung passt und was Sie über Kosten und Sicherheit wissen sollten.

Das Wichtigste

KI-Wissensdatenbanken für Unternehmen werden meist mit RAG (Retrieval-Augmented Generation) gebaut: Das System sucht passende Textstellen in Ihren eigenen Dokumenten, dann antwortet ein Sprachmodell auf dieser Grundlage und nennt die Quellen. Die Qualität hängt vor allem von aufgeräumten Inhalten, guter Suche und von Anfang an eingeplanten Zugriffsrechten ab, nicht von der Wahl des Modells. Low-Code-Plattformen sind der schnellste Weg zum Pilotprojekt, selbst gehostete offene Modelle halten die Daten im Haus, und eine Eigenentwicklung lohnt sich, wenn die Wissensdatenbank tief in Ihre Systeme eingebunden werden muss.

Was ist eine KI-Wissensdatenbank (RAG)?

Eine KI-Wissensdatenbank beantwortet Fragen in natürlicher Sprache aus den eigenen Dokumenten Ihres Unternehmens, und der verbreitetste Weg, sie zu bauen, heißt RAG, kurz für Retrieval-Augmented Generation (abrufgestützte Generierung). Der Begriff stammt aus einem Paper von Lewis et al. aus dem Jahr 2020 (Englisch), verfasst von Forschenden bei Facebook AI Research, dem University College London und der New York University. Es kombiniert das Wissen, das ein Sprachmodell im Training lernt, mit einem externen Dokumentenindex, den das Modell beim Antworten durchsucht.

Jede Antwort entsteht in drei Schritten:

Abrufen (Retrieve): Die Frage wird in einen Vektor umgewandelt (Zahlen, die ihre Bedeutung erfassen) und mit den indexierten Abschnitten Ihrer Dokumente abgeglichen.
Anreichern (Augment): Die relevantesten Textstellen werden zusammen mit der Frage an das Modell übergeben.
Generieren (Generate): Das Modell antwortet auf Grundlage dieser Textstellen und nennt die verwendeten Dokumente.

Weil der Index außerhalb des Modells liegt, lässt sich das Wissen laut den Autoren des Papers ohne erneutes Training aktualisieren: Datei ersetzen, neu indexieren, und die Antworten ziehen nach.

RAG, ChatGPT oder Fine-Tuning: Was ist der Unterschied?

Der Unterschied liegt darin, wo Ihr Unternehmenswissen gespeichert ist: ChatGPT und andere allgemeine Assistenten kennen nur das öffentliche Material, mit dem sie trainiert wurden; Fine-Tuning trainiert Wissen oder Stil in das Modell selbst hinein; RAG hält das Wissen in einer externen Bibliothek, die bei jeder Frage durchsucht wird.

Ein allgemeiner Assistent kennt weder Ihre Produktdaten noch Ihre Preisregeln oder Richtlinien. Das Hochladen von Dateien hilft als Notlösung, aber ohne eine einzige aktuelle Version und ohne Rechte pro Person. Welcher Assistent für die allgemeine Arbeit im Team passt, vergleicht unser Beitrag ChatGPT vs. Claude vs. Gemini für Unternehmen.
Fine-Tuning trainiert ein Modell mit Ihren Daten nach. Das hilft bei einem festen Format, einem bestimmten Tonfall oder einer eng umrissenen Aufgabe, ist aber ein schlechter Speicher für Fakten: Ändern sich die Dokumente, müssen Sie neu trainieren, und die Antworten können keine Quelle nennen. Schon das RAG-Paper hält fest, dass rein parametrische Modelle zusätzliches Training brauchen, um ihr Wissen zu aktualisieren, und kaum zeigen können, woher eine Aussage stammt.
RAG übernimmt aktualisierte Dokumente, sobald sie neu indexiert sind, nennt seine Quellen und kann Inhalte danach filtern, wer fragt.

Für die meisten Wissensdatenbanken im Unternehmen gilt: Beginnen Sie mit RAG und ergänzen Sie Fine-Tuning nur für ein bestimmtes Format oder einen bestimmten Tonfall.

Wo eine KI-Wissensdatenbank am meisten bringt

RAG funktioniert am besten bei Fragen, deren Antworten zwar aufgeschrieben, aber in zu vielen Dokumenten verstreut sind: interne Fragen (Spesen, IT-Anleitungen, Onboarding), Kundensupport aus Handbüchern, Rückgaberegeln und früheren Tickets auf Ihrer Website oder in WhatsApp (siehe KI-Chatbot für Unternehmen erstellen), Vertriebsunterlagen wie Datenblätter, Vergleiche und Standardklauseln, Richtlinien und Qualitätsverfahren, die Punkt für Punkt zitiert werden, sowie technische Handbücher.

Zwei Arten von Aufgaben passen schlecht. Live-Werte wie Lagerbestand oder Bestellstatus sollten direkt aus Ihren Systemen kommen, etwa über eine API oder einen MCP-Server für Ihr ERP, nicht aus einer exportierten Tabelle, die veraltet sein kann. Und die vollständige Prüfung eines Vertrags Klausel für Klausel lässt sich nicht durch das Abrufen einiger Textstellen lösen.

KI-Wissensdatenbank aufbauen: die sechs Schritte

Eine KI-Wissensdatenbank bauen Sie in sechs Schritten auf: Inhalte sichten und bereinigen, in Abschnitte zerlegen und einbetten, Suche und Reranking einrichten, Zugriffsrechte durchsetzen, Quellen angeben sowie testen und aktuell halten. Die ersten beiden Schritte bestimmen, wie gut das Ergebnis höchstens werden kann.

1. Inhalte sichten und bereinigen

Erfassen Sie, wo Wissen liegt (Netzlaufwerke, Intranet, E-Mail, Ticketsysteme), in welchen Formaten und wer es pflegt. Entfernen Sie veraltete Versionen und Duplikate, lassen Sie Scans per OCR erkennen, bauen Sie komplexe Tabellen um und versehen Sie jedes Dokument mit Abteilung, Vertraulichkeitsstufe, Region und Gültigkeitsdatum. Widersprechen sich Ihre Dokumente, widerspricht sich auch die KI. Sammeln Sie außerdem echte Fragen, die Menschen gestellt haben, als Testmaterial.

2. Zerlegen und einbetten (Chunking und Embedding)

Dokumente werden in Abschnitte (Chunks) zerlegt, von einem Embedding-Modell in Vektoren umgewandelt und in einer Vektordatenbank gespeichert. Zerlegen Sie entlang der Dokumentstruktur (Überschriften, Klauseln, Frage-Antwort-Paare). Zur Orientierung: Der Retrieval-Dienst von OpenAI (Englisch) verwendet standardmäßig Abschnitte von 800 Tokens mit 400 Tokens Überlappung, und die Chunk-Einstellungen von Dify (Englisch) bieten einen Eltern-Kind-Modus, der auf kleinen Abschnitten sucht, aber den umgebenden Abschnitt als Kontext zurückgibt.

Das häufigste Problem ist verlorener Kontext. Anthropics Forschung zu Contextual Retrieval (Englisch) nennt als Beispiel einen Abschnitt, laut dem der Umsatz gegenüber dem Vorquartal um 3 % gestiegen ist, ohne dass er sagt, welches Unternehmen oder welches Quartal gemeint ist. Die Lösung: Jedem Abschnitt Dokumenttitel, Kapitel und eine kurze Beschreibung voranstellen. Für mehrsprachige Inhalte wählen Sie ein Embedding-Modell, das alle Ihre Sprachen unterstützt.

3. Suchen und neu sortieren (Retrieval und Reranking)

Reine Vektorsuche übersieht, was einen exakten Treffer braucht, etwa Modell- oder Klauselnummern; die meisten Systeme ergänzen deshalb eine Stichwortsuche wie BM25 („hybride Suche“) und danach ein Reranking-Modell. In Anthropics Tests über mehrere Wissensgebiete senkte zusätzlicher Kontext in den Abschnitten den Anteil relevanter Inhalte, die in den Top-20-Ergebnissen fehlten, um 35 %; mit Stichwortsuche um 49 %; mit Reranking um 67 % (von 5,7 % auf 1,9 %). Die Suchmethoden von Dify (Englisch) bieten ebenfalls Vektor-, Volltext- und hybride Suche mit optionalem Reranking.

4. Zugriffsrechte durchsetzen

Zugriffsrechte müssen bei der Suche greifen: Dokumente werden nach der fragenden Person gefiltert, bevor irgendetwas das Modell erreicht, meist über Metadaten wie Abteilung oder Vertraulichkeitsstufe. Der Retrieval-Dienst von OpenAI kann Dateien vor der semantischen Suche nach Attributen filtern, und die Metadatenfilter von Dify (Englisch) grenzen die Suche über Metadatenfelder ein. Trennen Sie kundenseitige und interne Wissensdatenbanken. Eine Anweisung im Prompt, Geheimnisse zu wahren, ist keine Zugriffskontrolle.

5. Quellen angeben

Jede Antwort sollte ihre Quelle zeigen: Dokument, Abschnitt und idealerweise einen Link. Weisen Sie das Modell an, nur aus den abgerufenen Textstellen zu antworten und offen zu sagen, wenn diese die Frage nicht abdecken. Quellenangaben schaffen Vertrauen und zeigen bei einer falschen Antwort, welches Dokument korrigiert werden muss; Dify nennt diese Funktion „Citation and Attribution“.

6. Testen und aktuell halten

Testen Sie vor dem Start mit Ihren echten Fragen: Wurde das richtige Dokument gefunden, stimmt die Antwort, ist die Quellenangabe korrekt? Werten Sie danach unbeantwortete Fragen und wenig hilfreiche Antworten aus und passen Sie nach. Geben Sie jedem Dokumentbestand einen Verantwortlichen, indexieren Sie neu, wenn sich Dateien ändern, und nehmen Sie abgelaufene Dokumente heraus.

Plattform, Eigenentwicklung oder selbst gehostet: die Wahl

Welche Lösung passt, hängt davon ab, wie schnell Sie ein Pilotprojekt starten wollen, wie sensibel die Daten sind und wie tief die Wissensdatenbank in Ihre Systeme eingebunden werden muss.

Low-Code-Plattformen (etwa Dify oder Coze) lassen Sie Dateien hochladen und die Suche in einer visuellen Oberfläche konfigurieren; das passt für Prototypen, Pilotprojekte und Standardfälle. Dify und Coze Studio, die Open-Source-Ausgabe von Coze, lassen sich beide mit Docker selbst hosten (siehe die Docker-Compose-Anleitung von Dify, englisch). Prüfen Sie die Lizenzen: Coze Studio steht unter Apache 2.0, die Lizenz von Dify ergänzt Apache 2.0 dagegen um Bedingungen, etwa eine kommerzielle Lizenz für den Betrieb eines mandantenfähigen Dienstes (Multi-Tenant). Komplexe Rechtemodelle oder tiefe Integrationen können über das hinausgehen, was eine Plattform unterstützt.

Eigenentwicklung bedeutet, die Pipeline selbst zu bauen (Parsing, Chunking, Vektorspeicher, hybride Suche, Rechte), eingebettet in Ihr ERP, CRM, Intranet oder Ihre Website. Das gibt die meiste Kontrolle und nutzt Ihre bestehenden Logins und Rollen, verlangt aber eine höhere Anfangsinvestition und laufende Wartung.

Selbst hosten heißt, Modelle mit offenen Gewichten auf eigenen Servern oder in einer dedizierten Cloud zu betreiben, sodass Dokumente und Fragen im Haus bleiben. Verbreitet sind DeepSeek und Qwen: Code und Gewichte von DeepSeek-R1 stehen unter MIT-Lizenz, und das Projekt erklärt, dass sie kommerzielle Nutzung erlauben; das Team von Qwen3 gibt an, dass seine Open-Weight-Modelle unter Apache 2.0 lizenziert sind. Prüfen Sie die Lizenz jedes Modells: Die destillierten Versionen von DeepSeek-R1 bauen auf Qwen- oder Llama-Modellen auf, und das Projekt verweist auf die ursprünglichen Lizenzen dieser Basismodelle. Die Hardware hängt von der Größe ab: Das vollständige DeepSeek-R1 hat 671 Milliarden Parameter, die offiziellen destillierten Versionen reichen von 1,5 bis 70 Milliarden und sind deutlich leichter; testen Sie sie mit Ihren eigenen Fragen.

Die Optionen lassen sich gut kombinieren, etwa ein selbst gehostetes Dify mit einem lokalen offenen Modell.

Was eine KI-Wissensdatenbank kostet: die Kostentreiber

Einen Standardpreis gibt es nicht: Die Kosten bestehen aus einmaligem Aufwand und laufenden Kosten.

Einmalig: Aufbereitung der Inhalte (der am häufigsten unterschätzte Teil, der mit verstreuten Quellen, Scans und Tabellen wächst), Einrichtung oder Entwicklung, Integrationen wie Single Sign-on, Website, WhatsApp oder CRM sowie Tests und Feinabstimmung.
Laufend: Modellnutzung (Cloud-Gebühren pro Token oder, beim Selbsthosten, Kauf oder Miete von GPU-Servern), Aufrufe für Embedding und Reranking (laut Dify-Dokumentation verbraucht das Reranking Tokens des Rerank-Modells), Vektorspeicher, Plattform-Abos oder Lizenzen und der Betrieb: Server, Sicherheitsupdates, Pflege der Inhalte und Monitoring.

Die wichtigsten Treiber sind Menge und Komplexität der Dokumente, Zahl der Nutzer und Fragen, Rechtemodell, Sprachen, Betriebsmodell und die geforderte Genauigkeit. Starten Sie ein Pilotprojekt mit einer Abteilung, messen Sie die tatsächlichen Kosten pro Antwort und entscheiden Sie dann über den Ausbau.

Datensicherheit: Zugriffsrechte, DSGVO und Poisoning

Eine KI-Wissensdatenbank bündelt Unternehmenswissen an einer Stelle, deshalb muss Sicherheit von Anfang an mitgeplant werden.

Zugriffsrechte: Die OWASP Top 10 für LLM-Anwendungen 2025 (Englisch) führen Schwachstellen bei Vektoren und Embeddings als Risiko: Schwache Zugriffskontrollen legen sensible Inhalte offen, und Teams oder Kunden, die sich eine Vektordatenbank teilen, können gegenseitig ihre Daten sehen. OWASP empfiehlt rechtebewusste Vektorspeicher und detaillierte Protokolle der Abrufe.
Personenbezogene Daten: Für personenbezogene Daten von Menschen in der EU verlangt die DSGVO, nur das Notwendige zu verarbeiten (Artikel 5), eine dem Risiko angemessene Sicherheit (Artikel 32), einen Vertrag mit jedem Dienstleister, der in Ihrem Auftrag Daten verarbeitet (Artikel 28), und rechtmäßige Übermittlungen außerhalb der EU (Kapitel V). Viele Anwendungsfälle kommen ganz ohne personenbezogene Daten aus.
Poisoning (Datenvergiftung): Das Beispiel von OWASP ist ein Lebenslauf mit verstecktem weißem Text auf weißem Grund, der die KI anweist, den Bewerber zu empfehlen, eingereicht bei einem Recruiting-System, das Lebensläufe per RAG vorsortiert. Indexieren Sie nur vertrauenswürdige Quellen und prüfen Sie Uploads.
Bedingungen der Anbieter: Klären Sie bei Cloud-Modellen, ob Daten zum Training verwendet werden, wo und wie lange sie gespeichert werden, und legen Sie eine Aufbewahrungsfrist für Chatprotokolle fest.

Häufige Fehler

Alle Dateien hineinwerfen: Veraltete und widersprüchliche Dokumente verschlechtern die Antworten.
Erwarten, dass RAG Halluzinationen beendet: RAG verringert sie, beseitigt sie aber nicht; lassen Sie das Modell zugeben, wenn es etwas nicht weiß, und prüfen Sie wichtige Antworten.
Nur Vektorsuche: Artikelnummern und Eigennamen gehen verloren.
Zugriffsrechte später nachrüsten: Einmal abgeflossene Informationen lassen sich nicht zurückholen.
RAG einsetzen, wo es nicht nötig ist: Laut Anthropic kann eine Wissensbasis unter 200.000 Tokens (etwa 500 Seiten) einfach in den Prompt, sofern das Kontextfenster des Modells sie fasst.
Kein Testset und kein Verantwortlicher: Niemand erkennt, ob die Qualität steigt, und die Inhalte veralten.

Häufige Fragen

Wie baut man eine KI-Wissensdatenbank für Unternehmen auf?

Eine KI-Wissensdatenbank bauen Sie in sechs Schritten auf: Dokumente sichten und bereinigen, in Abschnitte zerlegen und einbetten, mit hybrider Suche plus Reranking abrufen, nach Nutzerrechten filtern, in jeder Antwort Quellen nennen sowie mit echten Fragen testen und die Inhalte aktuell halten. Das Unternehmen liefert die Dokumente mit einem Verantwortlichen für jeden Bestand, eine Sammlung echter Fragen und die Regeln, wer was sehen darf.

Was ist der Unterschied zwischen RAG und Fine-Tuning?

RAG ruft im Moment der Frage Textstellen aus einer externen Dokumentenbibliothek ab, sodass aktualisierte Dokumente nach dem Neuindexieren wirken und Antworten Quellen nennen können. Fine-Tuning trainiert das Modell mit Ihren Daten nach; es passt für ein festes Format, einen Tonfall oder eine eng umrissene Aufgabe, aber geänderte Fakten erfordern neues Training, und Antworten können keine Quelle nennen. Die meisten Wissensdatenbanken im Unternehmen starten mit RAG.

Kann eine KI-Wissensdatenbank komplett auf eigenen Servern laufen?

Ja. Die Plattform (etwa ein selbst gehostetes Dify oder Coze Studio), die Vektordatenbank und ein Open-Weight-Modell wie DeepSeek oder Qwen können vollständig auf eigenen Servern oder in einer dedizierten Cloud laufen, sodass Dokumente und Fragen im Haus bleiben. Dann stellen und betreiben Sie die GPU-Hardware selbst; prüfen Sie deshalb die Lizenz jedes Modells und testen Sie zuerst kleinere Modelle mit Ihren eigenen Fragen.

UsualMatrix baut KI-Wissensdatenbanken für Unternehmen weltweit, auf einer Low-Code-Plattform, als Eigenentwicklung oder mit Open-Source-Modellen auf Ihren eigenen Servern, und kann sie mit KI-Kundenservice auf Ihrer Website oder in WhatsApp verbinden. Wir kommunizieren auf Chinesisch, Spanisch oder Englisch. Mehr dazu auf unserer Seite zu KI-Lösungen, oder schreiben Sie uns, um über Ihre Dokumente und Anwendungsfälle zu sprechen.

Hinweis: Die Angaben zur DSGVO in diesem Beitrag sind allgemeine Informationen mit Stand der Veröffentlichung und keine Rechtsberatung. Funktionen und Lizenzen von Drittanbietern ändern sich; prüfen Sie die offizielle Dokumentation des jeweiligen Anbieters.