RAG für Engineering-Dokumente: Die Antwort braucht Quelle, Version und Zugriffsrecht

Was bei einer RAG-Anfrage passiert

Bei RAG sucht eine Anwendung zunächst nach passenden Inhalten. Sie übergibt gefundene Ausschnitte zusammen mit der Frage an ein Sprachmodell. Daraus entsteht ein Antwortentwurf, der auf die Fundstellen verweisen kann. Microsoft beschreibt diesen Ablauf als Abrufen, Ergänzen der Eingabe und Generieren der Antwort. Microsoft Learn: Retrieval Augmented Generation.

Die Suchkomponente und das Sprachmodell haben damit unterschiedliche Aufgaben. Eine passende Formulierung des Modells hilft wenig, wenn die Suche das falsche Dokument geliefert hat. Deshalb gehört die Auswahl der Quellen ebenso auf den Prüfstand wie der fertige Antworttext.

Für die Halterung H-204 braucht die Anfrage möglicherweise eine Zeichnung, einen Prüfbericht und die dokumentierte Änderungsentscheidung. Das Modell soll die Begründung aus diesen Unterlagen verständlich zusammenführen. Eine fehlende Entscheidung muss es als Lücke behandeln.

Ein neueres Datum ist noch kein gültiger Stand

In einem Entwicklungsordner können ein freigegebener Bericht, ein aktueller Entwurf und eine ältere, weiterhin gültige Vorgabe nebeneinanderliegen. Wer nur nach dem Änderungsdatum sortiert, verwechselt leicht Aktualität mit Freigabe. Im Beispiel gehört deshalb die Revision C zur Frage, nicht pauschal die zuletzt gespeicherte Datei.

Ich würde für den ersten Anwendungsfall wenige Merkmale verbindlich pflegen: Dokumenten-ID, Revision, Status, Bauteil oder Baugruppe, Variante und Gültigkeitsbereich. Welche Felder tatsächlich nötig sind, hängt vom Ablauf ab. Ein Servicefall an einem ausgelieferten Produkt kann einen anderen Stand benötigen als die laufende Entwicklung.

Die Software kann nach vorhandenen Merkmalen filtern. Sie kann deren fachliche Richtigkeit aber nicht aus einem Dateinamen garantieren. Wenn „final_neu_2.pdf“ die einzige Information über den Stand ist, beginnt die Arbeit bei der Dokumentenführung.

Berechtigungen gehören vor die Antwort

Microsoft dokumentiert für Azure AI Search verschiedene Verfahren zur Zugriffskontrolle auf Dokumentebene, darunter Sicherheitsfilter. Der konkrete Ansatz hängt von Datenquelle und Identitätsmodell ab. Eine bestehende Berechtigung in der Ablage muss im Such- und Antwortweg wirksam umgesetzt werden. Microsoft Learn: Document-level access control.

Für Ihr Projekt bedeutet das: Ein Nutzer darf über die KI keine Inhalte erhalten, die er in der freigegebenen Quelle nicht lesen darf. Auch Titel, Ausschnitte und erzeugte Zusammenfassungen können Informationen preisgeben. Berechtigungen erst nach dem Schreiben der Antwort zu prüfen, ist für diesen Ablauf zu spät.

Testen Sie den Zugriff mit zwei Rollen, die bewusst unterschiedliche Rechte besitzen. Entziehen Sie anschließend einem Testkonto eine Berechtigung und prüfen Sie den nächsten Abruf. Vereinbaren Sie außerdem, wie Änderungen und gelöschte Dokumente in Suchindex, Zwischenspeicher und Antwortprotokollen behandelt werden.

Eine Fundstelle muss die Aussage wirklich tragen

Ein Link zum richtigen Dokument ist ein Anfang. Für die Prüfung sollte auch die relevante Seite, Tabellenzeile oder der Abschnitt erreichbar sein. Im Beispiel lautet die Frage nach der Änderungsbegründung. Ein Bericht, der lediglich einen Werkstoff nennt, belegt diese Begründung noch nicht.

Trennen Sie in der Ausgabe belegte Aussagen, mögliche Zusammenhänge und offene Punkte. Wenn zwei freigegebene Unterlagen widersprüchlich sind, sollte der Entwurf beide Fundstellen nennen und den Konflikt sichtbar lassen. Das Team braucht an dieser Stelle eine Klärung, keine sprachliche Glättung.

Bauen Sie einen kleinen Satz echter Prüffragen

Sammeln Sie für einen ersten Versuch beispielsweise 15 Fragen, die im Team wiederkehren. Diese Zahl ist ein Vorschlag für einen überschaubaren Start. Die Fachpersonen halten zu jeder Frage fest, welche Quelle die Antwort trägt und welcher Dokumentenstand gilt. Wählen Sie auch Fragen aus, die sich aus den vorhandenen Unterlagen nicht beantworten lassen.

Nehmen Sie mindestens einen Fall mit einer älteren Revision, einen Widerspruch zwischen Unterlagen und einen gesperrten Beleg auf. Lassen Sie die Fachpersonen erst die gefundenen Ausschnitte bewerten und danach den Antwortentwurf. So erkennen Sie, ob der Fehler in der Suche, im Kontext oder in der Formulierung entsteht.

Vergleichen Sie die gesamte Bearbeitungszeit bis zur geprüften Antwort mit dem bisherigen Suchweg. Erfassen Sie falsche Quellen, unbelegte Aussagen und übersehene Einschränkungen einzeln. Eine hohe Anzahl beantworteter Fragen ist kein Erfolg, wenn gerade die kritischen Antworten nicht belastbar sind.

Starten Sie bei einer wiederkehrenden Entscheidung

Ein begrenzter Dokumentenbestand zu einer Baugruppe lässt sich besser beurteilen als ein sofortiger Zugriff auf die gesamte Unternehmensablage. Wählen Sie eine Frage, für die heute mehrere Personen oder Systeme benötigt werden. Die zuständige Fachperson sollte die erwartete Antwort und ihre Belege kennen.

AImation zeigt auf der Seite zur Wissenssicherung einen internen Prototyp mit eigenen Unterlagen. Unternehmensanbindung, Rechteprüfung und Datenhistorie werden für einen Pilot separat abgestimmt. Daraus lässt sich kein fertiger Zugriff auf Ihre Dokumentenlandschaft ableiten.

Bringen Sie zum Erstgespräch eine typische Suchfrage und eine Übersicht der beteiligten Ablagen mit. Dann können wir prüfen, ob zuerst eine Suchverbindung, eine bessere Kennzeichnung der Dokumente oder ein anderer Ablauf benötigt wird.

Häufige Fragen