„retrieval augmented generation (RAG)“ – Versionsunterschied
| [ungesichtete Version] | [ungesichtete Version] |
Die Seite wurde neu angelegt: „<p>Unter '''Retrieval-Augmented Generation''' ('''RAG''') versteht man ein [https://de.wikipedia.org/wiki/Software Softwaresystem], welches [https://de.wikipedia.org/wiki/Information_Retrieval Information Retrieval] mit einem [https://de.wikipedia.org/wiki/Large_Language_Model Large Language Model]kombiniert. Eine Abfrage, welche an das System gestellt wird, kann hierbei auf Informationen aus (externen) Informationsquellen, [https://de.wikipedia.org/wiki/…“ |
K Textersetzung - „Kategorie:künstliche Intelligenz (KI)“ durch „Kategorie:Künstliche Intelligenz“ |
||
| (6 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt) | |||
| Zeile 1: | Zeile 1: | ||
[[retrieval]] [[augmented]] [[generation]] | |||
Unter ''retrieval augmented generation'' ('''RAG''') versteht man ein [[Software]]system, welches [[Information Retrieval]] mit einem [[Large Language Model]] kombiniert. Eine Abfrage, welche an das System gestellt wird, kann hierbei auf Informationen aus (externen) Informationsquellen, [[Datenbank]]en oder dem [[World Wide Web]] zugreifen statt nur auf die Trainingsdaten des Modells.<ref name="itir" /><ref name="aips" /> Dies erhöht die Genauigkeit und Robustheit der generierten Inhalte, indem es die Modelle mit aktuellen und spezifischen Informationen versorgt.<ref name="aigc" /> Typische Anwendungsfälle sind der Zugriff von Chatbots auf interne (Unternehmens-)Daten oder die Bereitstellung von Sachinformationen, die ausschließlich aus verlässlichen Quellen stammen sollen. | |||
== Verfahren == | == Verfahren == | ||
#Datenindexierung | ''Retrieval-Augmented Generation'' besteht im Wesentlichen aus vier Stufen: | ||
#Datenabruf | |||
#Augmentierung | # Datenindexierung | ||
#Antwortgenerierung | # Datenabruf | ||
# Augmentierung | |||
# Antwortgenerierung | |||
=== Datenindexierung === | === Datenindexierung === | ||
==== Chunking ( | Die zu referenzierenden Daten werden im ersten Schritt in [[Worteinbettung]]en umgewandelt und in einer [[Vektordatenbank]] indexiert. Die Daten können hierbei sowohl unstrukturiert (Texte, Bilder, Video, Audio), semistrukturiert, strukturiert (z. B. aus einer [[Relationale Datenbank|relationalen Datenbank]] oder einem Wissensgraphen<ref name="kger" />) vorliegen. In der Vektordatenbank werden hierbei die Worteinbettungen mit den originalen Daten verknüpft.<ref name="aips" /> | ||
==== | Abhängig von der jeweiligen Implementierung können auch Suchanfragen an das System und die zugehörigen Antworten durch ein RAG-System indexiert werden. | ||
==== Chunking (Aufteilen der Daten) ==== | |||
Im ersten Schritt werden die zu indexierenden Daten in kleinere Bestandteile (''{{lang|en|Chunks}}'') aufgeteilt. Textdokumente können beispielsweise in kleinere Absätze aufgeteilt werden, während man Wissensgraphen in Sub-Graphen zerteilt. Bilder können nach den Objekten im Bild (Hund, Tisch, Gesicht etc.) mittels eines Segmentierungsmodells aufgeteilt werden.<ref>{{Literatur |Autor=Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Dollár, Ross Girshick |Titel=Segment Anything |Datum=2023-04-05 |Sprache=en |arXiv=2304.02643 |DOI=10.48550/arXiv.2304.02643}}</ref> Bei relationalen Datenbanken kann man das [[Datenbankschema]] (z. B. [[Data Definition Language|DDL]]) nach zusammengehörigen Tabellen aufteilen, welche fusioniert (z. B. "join") werden müssen. | |||
Die einzelnen Bestandteile werden anschließend mit Annotationen versehen, um sie der ursprünglichen Datenquelle zuordnen zu können. | |||
==== Vektor-Generierung ==== | |||
Die einzelnen Chunks werden mittels [[Tokenisierung]] in Token zerlegt. Diese Token werden anschließend durch ein Einbettungsmodell in [[Worteinbettung]]en (Vektoren) übersetzt. Die Worteinbettungen werden dann in der Vektordatenbank gemeinsam mit den Chunks und Annotationen gespeichert. | |||
Bei Bildinformationen wird hier das Bild von einem Bild-zu-Text Modell in eine Beschreibung übersetzt und diese Beschreibung für die Worteinbettung verwendet. Seltener wird das Bild selbst codiert, denn hierfür wird ein geeigneter Tokenizer benötigt, welcher Bilddaten verarbeiten kann. Wenn Bild- und Textdaten in derselben Datenbank gespeichert werden sollen, wird ein ''multimodaler Tokenizer'' benötigt. Ähnliches gilt für das Verarbeiten von Audio- und Videodaten. | |||
==== Vernetzung von Daten ==== | ==== Vernetzung von Daten ==== | ||
Komplexe RAG-Systeme besitzen die Möglichkeit, die Daten miteinander automatisiert zu verknüpfen. Hierbei werden mittels eines Sprachmodells aus den indizierten Dokumenten ein Wissensgraph extrahiert und die innerhalb eines Dokuments beschriebenen Konzepte mit den jeweiligen Konzepten im Wissensgraphen verknüpft.<ref>{{Literatur |Autor=Junde Wu, Jiayuan Zhu, Yunli Qi |Titel=Medical Graph RAG: Towards Safe Medical Large Language Model via Graph Retrieval-Augmented Generation |Datum=2024-08-17 |Sprache=en |arXiv=2408.04187 |DOI=10.48550/arXiv.2408.04187}}</ref> Diese Verknüpfung ermöglicht eine formale Analyse der zuvor nur unstrukturiert vorgelegenen Daten. | |||
=== Datenabruf === | === Datenabruf === | ||
Beim Datenabruf wird eine Suchanfrage des [[Benutzer]]s zuerst in eine Worteinbettung umgewandelt. Anschließend wird ermittelt, welche in der Vektordatenbank gespeicherten Daten mit der Abfrage des Benutzers [[Semantik|semantisch]] [[Korrelation|korrelieren]].<ref name="iss" /><ref name="aips" /> Werden hierbei relevante Daten gefunden, werden diese gewichtet (''{{lang|en|Ranking}}'') und gefiltert. | |||
Für die Berechnung der Korrelation können unterschiedliche Verfahren zum Einsatz kommen. Typisch ist die Verwendung von ''Okapi BM25''<ref name="bm25" />, SPLADE<ref>{{Internetquelle |url=https://github.com/naver/splade |titel=SPLADE |werk=[[GitHub]] |sprache=en |abruf=2024-08-17}}</ref>, Dragon<ref>{{Internetquelle |autor=Ayush Thakur |url=https://blog.stackademic.com/llmware-dragon-mistral-7b-v0-a-powerful-llm-for-rag-applications-760fc6add4b9 |titel=llmware/dragon-mistral-7b-v0: A Powerful LLM for RAG Applications |hrsg=Medium |datum=2023-12-22 |sprache=en |abruf=2024-08-16}}</ref>, oder eine Kombination mehrerer Verfahren. | |||
==== Filterung ==== | ==== Filterung ==== | ||
Die Filterung der Daten kann aus unterschiedlichen Gründen erfolgen. Hierbei gilt es die Vertraulichkeit der Daten, [[Jugendschutz]]-Einschränkungen, Urheberrechte und ähnliches zu berücksichtigen. | |||
==== Rephrasing ==== | ==== Rephrasing ==== | ||
Einige Systeme können die Suchergebnisse mittels eines Sprachmodells auf Relevanzkriterien bewerten. Werden keine relevanten Daten gefunden, kann ein weiterer Agent die Anfrage des Benutzers umformulieren (''{{lang|en|rephrasing}}'') und eine neue Suche starten. Das System wird darin beschränkt, wie viele Versuche es hat und/oder wie lange es hierfür Zeit hat. | |||
Da bei diesem Verfahren mehrere zusätzliche Schritte benötigt werden, ergibt sich ein erhöhter Arbeits- und Zeitaufwand für das System, um ein Ergebnis zu liefern. Der Vorteil besteht in der höheren Wahrscheinlichkeit ein günstiges Suchergebnis zu erhalten. | |||
==== Relationale Daten ==== | ==== Relationale Daten ==== | ||
Bei relationalen Daten werden die Daten üblicherweise nicht vollständig in Dokumente umgewandelt und in der Vektordatenbank gespeichert, sondern nur das Datenschema. Bei der Suche wird das nötige Datenschema zurückgeliefert, aus dem ein Sprachmodell [[SQL]]-Quelltext erzeugt (''{{lang|en|Text-to-SQL}}''). Dieser wird auf der Datenbank ausgeführt, um die benötigten Informationen zu generieren.<ref>{{Internetquelle |autor=Pinterest Engineering |url=https://medium.com/pinterest-engineering/how-we-built-text-to-sql-at-pinterest-30bad30dabff |titel=How we built Text-to-SQL at Pinterest |hrsg=Medium |datum=2024-04-02 |sprache=en |abruf=2024-08-17}}</ref> | |||
Hierbei gilt zu beachten, dass der erzeugte Quelltext fehlerhaft oder schadhaft sein kann. Die Anfrage muss daher sowohl auf syntaktische Richtigkeit ([[Halluzination (Künstliche Intelligenz)|Halluzination]] von nicht-existenden Tabellen oder Spalten), als auch die Schädlichkeit (z. B. mögliche [[SQL-Injection]]) untersucht werden. Die Datenbankabfrage muss durch geeignete Rechtesetzung "Read-Only", also schreibgeschützt sein. | |||
=== Augmentierung === | === Augmentierung === | ||
Im [[Erweiterte Realität|Augmentierungsprozess]] werden anwendungsspezifische Daten, etwa ein [[Systemprompt]] und die [[Metadaten]] des Benutzers, sowie die gefundenen Daten der Suchanfrage mit der Anfrage des Benutzers zusammengeführt.<ref name="aips" /> Komplexe RAG-Systeme können hierbei die Anfrage des Benutzers in unterschiedliche [[Wissensgebiet]]e aufteilen und spezifisch behandeln. | |||
=== Antwortgenerierung === | === Antwortgenerierung === | ||
Im letzten Schritt wird die augmentierte Suchanfrage in ein [[Sprachmodell]] übergeben, welches die Daten mittels eines statistischen Modells in eine Antwort [[Transformer (Maschinelles Lernen)|transformiert]]<ref name="llm" />. | |||
Zudem wird die vom Sprachmodell generierte Antwort mit Referenzen auf die Quellen der Daten verknüpft (typischerweise über einen [[Uniform Resource Identifier|URI]]), um dem Benutzer eine Nachvollziehbarkeit und Kontrollmöglichkeit der Antwort zu ermöglichen. | |||
== Anwendungen == | == Anwendungen == | ||
Da RAG-Systeme eine Erweiterung zu klassischen [[Suchmaschine]]n sind, sind die Einsatzbereiche überschneidend. Anwendungen für RAG-Systeme finden in der Kundenbetreuung<ref>{{Internetquelle |autor=Keshav Unni |url=https://medium.com/tr-labs-ml-engineering-blog/better-customer-support-using-retrieval-augmented-generation-rag-at-thomson-reuters-4d140a6044c3 |titel=Better Customer Support Using Retrieval-Augmented Generation (RAG) at Thomson Reuters |hrsg=[[Medium]] |datum=2023-08-08 |sprache=en |abruf=2024-08-18}}</ref><ref>{{Internetquelle |autor=Tarunvel V S |url=https://medium.com/@TarunvelVS/rag-in-customer-support-aa971ff27ea8 |titel=RAG in Customer Support |hrsg=[[Medium]] |datum=2024-04-11 |sprache=en |abruf=2024-08-18}}</ref><ref>{{Internetquelle |autor=Adarsh |url=https://www.kommunicate.io/blog/rag-in-customer-service-chatbot/ |titel=Enhancing Customer Service with Retrieval-Augmented Generation (RAG) in AI Chatbots |hrsg=[https://www.kommunicate.io/ kommunicate.io] |datum=2024-08-06 |sprache=en |abruf=2024-08-18}}</ref>, der Analyse medizinischer Informationen<ref>{{Internetquelle |autor=Tanya Malhotra |url=https://www.marktechpost.com/2024/08/12/medgraphrag-an-ai-framework-for-improving-the-performance-of-llms-in-the-medical-field-through-graph-retrieval-augmented-generation-rag/ |titel=MedGraphRAG: An AI Framework for Improving the Performance of LLMs in the Medical Field through Graph Retrieval Augmented Generation (RAG) |datum=2024-08-12 |sprache=en |abruf=2024-08-16}}</ref><ref>{{Literatur |Autor=Junde Wu, Jiayuan Zhu, Yunli Qi |Titel=Medical Graph RAG: Towards Safe Medical Large Language Model via Graph Retrieval-Augmented Generation |Datum=2024-08-08 |arXiv=2408.04187 |DOI=10.48550/arXiv.2408.04187}}</ref>, juristischen Recherchen<ref>{{Internetquelle |autor=Arunim Samat |url=https://www.truelaw.ai/blog/legal-rag-vs-rag-a-technical-exploration-of-retrieval-systems |titel=Legal-RAG vs. RAG: A Technical Exploration of Retrieval Systems |hrsg=[https://www.truelaw.ai/ truelaw.ai] |datum=2024-03-23 |sprache=en |abruf=2024-08-16}}</ref>, der Bildung<ref>{{Internetquelle |url=https://www.elementx.ai/post/enhancing-education-with-rag |titel=Enhancing Education with RAG: How Universities Can Benefit |hrsg=[https://www.elementx.ai/ ElementX.ai] |sprache=en |abruf=2024-08-16}}</ref><ref>{{Internetquelle |url=https://myscale.com/blog/rag-ai-education-impact-case-studies/ |titel=Unveiling the Impact of RAG AI in Education: Real Case Studies Revealed |hrsg=[https://myscale.com/ MyScale] |datum=2024-03-17 |sprache=en |abruf=2024-08-16}}</ref>, wissenschaftlichen Forschung, Finanzanalyse<ref>{{Internetquelle |autor=Eduardo Alvarez |url=https://eduand-alvarez.medium.com/transforming-financial-services-with-rag-personalized-financial-advice-f58de9d2d7e0 |titel=Transforming Financial Services with RAG: Personalized Financial Advice |hrsg=[[Medium]] |datum=2024-04-05 |sprache=en |abruf=2024-08-16}}</ref><ref>{{Internetquelle |url=https://www.linkedin.com/pulse/embracing-rag-financial-services-new-frontier-ai-technologies-nzfme/ |titel=Embracing RAG in Financial Services: A New Frontier in AI Technologies |werk=[[LinkedIn]] Pulse |hrsg=RoSoft Ventures |datum=2023-11-11 |sprache=en |abruf=2024-08-16}}</ref>, der Auswertung von Logdaten<ref>{{Internetquelle |autor=Harikiran Akella |url=https://medium.com/@hari10.nitw/log-analysis-with-genai-with-handson-0e05224aed96 |titel=Log Analysis with GenAI — With HandsOn |hrsg=[[Medium]] |datum=2024-03-21 |sprache=en |abruf=2024-08-16}}</ref><ref>{{Literatur |Autor=Yi Xiao, Van-Hoang Le, Hongyu Zhang |Titel=Stronger, Cheaper and Demonstration-Free Log Parsing with LLMs |Datum=2024-06-12 |Sprache=en |arXiv=2406.06156 |DOI=10.48550/arXiv.2406.06156}}</ref>, sowie allen anderen Anwendungen, bei denen das Auffinden von Informationen relevant ist. | |||
== Herausforderungen == | == Herausforderungen == | ||
RAG-Systeme weisen aufgrund einer Vielzahl an beteiligten Softwaresystemen und [[Akteur]]en eine hohe Komplexität in der Implementierung auf. | |||
Zudem muss die Indexierung, die Gewichtung und die Filterung der Daten kontinuierlich an sich ständig ändernde Gegebenheiten angepasst und erweitert werden. Der Betrieb eines RAG-Systems ist somit nicht nur mit einem hohen Aufwand in der Implementierung, sondern auch mit einem kontinuierlichen Aufwand im Betrieb verbunden. | |||
== Softwarepakete == | == Softwarepakete == | ||
{| class="wikitable sortable | Für die Implementierung von RAG-Systemen gibt es Softwarepakete, welche Anwendungsspezifisch angepasst werden müssen. Hierbei unterscheidet man zwischen komplexen Software-[[Framework]]s, welche eine umfangreiche [[Dienstekomposition#Orchestrierung|Orchestrierung]] von KI-Agenten und [[Programmierschnittstelle]]n ermöglichen, sowie Softwarepaketen, welche eine Low-Code Umgebung bereitstellen. | ||
|+ Liste von Softwarepaketen zur Erstellung von RAG-Systemen | |||
{| class="wikitable sortable" | |||
|+ Liste von Softwarepaketen zur Erstellung von RAG-Systemen | |||
(Stand: 3. Februar 2025) | |||
! Softwarepaket !! Lizenz !! Beschreibung | |||
|- | |- | ||
| [https://copilotstudio.microsoft.com/ Microsoft Copilot Studio] || [[Proprietär]] || Low-Code Web-Plattform in [[Microsoft 365]] | |||
|- | |- | ||
| [https:// | | [https://azure.microsoft.com/en-us/products/ai-studio Azure AI Studio] || [[Proprietär]] || Low-Code Web-Plattform in [[Microsoft Azure]]. Auch komplexe Orchestrierung möglich. | ||
| [ | |||
| Low-Code Web-Plattform in [ | |||
|- | |- | ||
| [https:// | | [https://microsoft.github.io/promptflow/ PromptFlow] || [[Open-Source]] || Technologie hinter Copilot Studio und Azure AI Studio. Ermöglicht eine komplexe Orchestrierung. Integration mit LangChain oder Semantic Kernel möglich. | ||
| [ | |||
| | |||
|- | |- | ||
| [https:// | | [https://cloud.google.com/products/agent-builder Vertex AI Agent Builder] || [[Proprietär]] || Low-Code Web-Plattform der [[Google Cloud Platform|Google Cloud]] | ||
| [ | |||
|- | |- | ||
| [https:// | | [https://www.ibm.com/products/watsonx-ai watsonx] || [[Proprietär]] || Low-Code Orchestrierungs-Plattform von [[IBM]] | ||
| [ | |||
| Low-Code | |||
|- | |- | ||
| [https://www. | | [https://www.mendable.ai/?ref=gfirecrawl Firecrawl] || [[Open-Source]] || API-Service zur Webseitenindexierung | ||
| [ | |||
| | |||
|- | |- | ||
| [https://www. | | [https://www.langchain.com/ LangChain] und [https://www.langchain.com/langgraph LangGraph] || [[Open-Source]] || Framework für Orchestrierung von KI-Systemen | ||
| | |||
|- | |- | ||
| [https:// | | [https://github.com/microsoft/kernel-memory Kernel Memory] || [[Open-Source]] || Framework zur Erstellung von RAG-Systemen | ||
| [ | |||
| Framework | |||
|- | |- | ||
| [https://github.com/microsoft/kernel | | [https://github.com/microsoft/semantic-kernel Semantic Kernel] || [[Open-Source]] || Framework für Orchestrierung von KI-Systemen | ||
| [ | |||
| Framework | |||
|- | |- | ||
| [https:// | | [https://haystack.deepset.ai/ Haystack] || [[Open-Source]] || Framework zur Erstellung von RAG-Systemen | ||
| [ | |||
| Framework | |||
|- | |- | ||
| [https:// | | [https://research.google/blog/realm-integrating-retrieval-into-language-representation-models/ REALM] || [[Open-Source]] || Google-Research-Projekt mit einer RAG-System Beispielimplementierung | ||
| [ | |||
| | |||
|- | |- | ||
| [https:// | | [https://github.com/infiniflow/ragflow RAGFlow] || [[Open-Source]] || Ein Framework, das sich auf die Vereinfachung der Erstellung von RAG-basierten Anwendungen konzentriert, mit vorgefertigten Komponenten und Workflows. | ||
| [https:// | |- | ||
| [https:// | | [https://github.com/neuml/txtai txtai] || [[Open-Source]] || Eine KI-gestützte Datenplattform, die Such- und Frage-Antwort-Funktionen bietet und sich leicht in bestehende Systeme integrieren lässt. | ||
|- | |||
| [https://github.com/jerryjliu/llama_index LlamaIndex] || [[Open-Source]] || Ein Tool zum Aufbau von Indizes über Ihre Daten, um sie für LLMs (Large Language Models) zugänglich zu machen. | |||
|- | |||
| [https://github.com/explodinggradients/ragas RAGAS] || [[Open-Source]] || Ein Evaluierungsframework für RAG-Systeme, das Metriken zur Bewertung der Antwortqualität bietet. | |||
|- | |||
| [https://github.com/gkamradt/ragstack RAGstack] || [[Open-Source]] || Ein Stack zum Aufbau von RAG-Systemen mit Komponenten wie LangChain, FastAPI und anderen. | |||
|- | |||
| [https://github.com/hwchase17/rag-architect RAG Architect] || [[Open-Source]] || Ein Framework zur Erstellung von RAG-Systemen mit Fokus auf Modularität und Erweiterbarkeit. | |||
|- | |||
| [https://github.com/huggingface/transformers/tree/main/examples/research_projects/rag RAG End-to-End] || [[Open-Source]] || Ein End-to-End-Beispiel für die Implementierung von RAG mit den Transformers von Hugging Face. | |||
|- | |||
| [https://github.com/deepset-ai/haystack/tree/main/haystack/pipelines/rag RAG Pipeline] || [[Open-Source]] || Eine Pipeline innerhalb von Haystack zur Implementierung von RAG-Systemen. | |||
|- | |||
| [https://github.com/stanford-oval/storm STORM] || [[Open-Source]] || Ein von der Stanford OVAL entwickelte LLM-gestützte Wissenskurationssystem, das Wikipedia-ähnliche Artikel basierend auf Internetrecherchen erstellt. | |||
|- | |||
| [https://github.com/pathwaycom/llm-app LLM-App] || [[Open-Source]] || Ein Framework von Pathway, das die Erstellung von Anwendungen mit großen Sprachmodellen erleichtert. | |||
|- | |||
| [https://github.com/truefoundry/cognita Cognita] || [[Open-Source]] || Ein von TrueFoundry entwickeltes Tool zur Integration von Wissensdatenbanken in KI-gestützte Anwendungen. | |||
|- | |||
| [https://github.com/SciPhi-AI/r2r R2R] || [[Open-Source]] || Ein von SciPhi-AI entwickeltes Framework zur Implementierung von Retrieval-zu-Response-Systemen. | |||
|- | |||
| [https://github.com/satellitecomponent/neurite Neurite] || [[Open-Source]] || Ein von SatelliteComponent entwickeltes Tool zur neuronalen Informationsverarbeitung und -extraktion. | |||
|- | |||
| [https://github.com/RUC-NLPIR/flashrag FlashRAG] || [[Open-Source]] || Ein von RUC-NLPIR entwickeltes Framework für schnelle Retrieval-Augmented Generation. | |||
|- | |||
| [https://github.com/pinecone-io/canopy Canopy] || [[Open-Source]] || Ein von Pinecone entwickeltes Tool zur Verwaltung und Orchestrierung von Vektordatenbanken für RAG-Systeme. | |||
|} | |} | ||
Zusätzlich gibt es auch fertige Softwarepakete wie Pieces for Developers, welche für das persönliche Datenmanagement eingesetzt werden können.<ref>{{Internetquelle |url=https://pieces.app/ |titel=Pieces |abruf=2024-09-01}}</ref> | |||
Retrieval Augmented Generation wird zudem in einigen Suchmaschinen wie [[Perplexity.ai]], [[Google Gemini]], [[Microsoft Bing]], sowie SearchGPT eingesetzt. | |||
== Referenzen == | == Referenzen == | ||
< | <references> | ||
<ref name="itir"> | |||
{{Literatur | |||
|Autor=Christopher D. Manning, Prabhakar Raghavan, Hinrich Schütze | |||
|Hrsg=[[Stanford University]], [[Ludwig-Maximilians-Universität München]] | |||
|Titel=Introduction to Information Retrieval | |||
|Datum=2009 | |||
|ISBN=978-0-521-86571-5 | |||
|Sprache=en | |||
|Online=https://nlp.stanford.edu/IR-book/information-retrieval-book.html}} | |||
</ref> | |||
<ref name="aigc"> | |||
{{Literatur | |||
|Autor=Penghao Zhao et al. | |||
|Titel=Retrieval-augmented generation for ai-generated content: A survey | |||
|Datum=2024-06-21 | |||
|Sprache=en | |||
|arXiv=2402.19473 | |||
|DOI=10.48550/arXiv.2402.19473}} | |||
</ref> | |||
<ref name="llm"> | |||
{{Literatur | |||
|Autor=Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Meng Wang, Haofen Wang | |||
|Titel=Retrieval-Augmented Generation for Large Language Models: A Survey | |||
|Verlag=[[Tongji-Universität]], [[Fudan-Universität]] | |||
|Datum=2024-03-27 | |||
|Sprache=en | |||
|arXiv=2312.10997}} | |||
</ref> | |||
<ref name="bm25"> | |||
{{Literatur | |||
|Autor=Stephen E. Robertson, Hugo Zaragoza | |||
|Titel=The Probabilistic Relevance Framework: BM25 and Beyond | |||
|Datum=2009-01 | |||
|Sprache=en | |||
|Online=https://www.researchgate.net/publication/220613776_The_Probabilistic_Relevance_Framework_BM25_and_Beyond | |||
|Format=PDF | |||
|KBytes=1234 | |||
|Abruf=2024-07-23 | |||
|DOI=10.1561/1500000019}} | |||
</ref> | |||
<ref name="iss"> | |||
{{Literatur | |||
|Autor=Olesya Bondarenko | |||
|Hrsg=Manning | |||
|Titel=Implement Semantic Search with ML and BERT | |||
|Datum= | |||
|Sprache=en | |||
|Online=https://www.manning.com/liveproject/implement-semantic-search-with-ml-and-bert | |||
|Abruf=2024-07-23}} | |||
</ref> | |||
<ref name="aips"> | |||
{{Literatur | |||
|Autor=Trey Grainger, Doug Turnbull, Max Irwin | |||
|Hrsg=Manning | |||
|Titel=AI-Powered Search | |||
|Datum=2024 | |||
|ISBN=978-1-61729-697-0 | |||
|Sprache=en | |||
|Online=https://www.manning.com/books/ai-powered-search | |||
|Abruf=2024-07-23}} | |||
</ref> | |||
<ref name="kger"> | |||
{{Literatur | |||
|Autor=Tomaž Bratanič, Oskar Hane | |||
|Hrsg=Manning | |||
|Titel=Knowledge Graph-Enhanced RAG | |||
|Datum=2024 | |||
|ISBN=978-1-63343-626-8 | |||
|Sprache=en | |||
|Online=https://www.manning.com/books/knowledge-graph-enhanced-rag | |||
|Abruf=2024-07-23}} | |||
</ref> | |||
</references> | |||
[[Kategorie:Künstliche Intelligenz]] | |||
[[Kategorie:Datenbanksystem]] | |||
[[Kategorie:retrieval augmented generation (RAG)]] | |||
Aktuelle Version vom 17. August 2026, 20:19 Uhr
retrieval augmented generation
Unter retrieval augmented generation (RAG) versteht man ein Softwaresystem, welches Information Retrieval mit einem Large Language Model kombiniert. Eine Abfrage, welche an das System gestellt wird, kann hierbei auf Informationen aus (externen) Informationsquellen, Datenbanken oder dem World Wide Web zugreifen statt nur auf die Trainingsdaten des Modells.[1][2] Dies erhöht die Genauigkeit und Robustheit der generierten Inhalte, indem es die Modelle mit aktuellen und spezifischen Informationen versorgt.[3] Typische Anwendungsfälle sind der Zugriff von Chatbots auf interne (Unternehmens-)Daten oder die Bereitstellung von Sachinformationen, die ausschließlich aus verlässlichen Quellen stammen sollen.
Verfahren
Retrieval-Augmented Generation besteht im Wesentlichen aus vier Stufen:
- Datenindexierung
- Datenabruf
- Augmentierung
- Antwortgenerierung
Datenindexierung
Die zu referenzierenden Daten werden im ersten Schritt in Worteinbettungen umgewandelt und in einer Vektordatenbank indexiert. Die Daten können hierbei sowohl unstrukturiert (Texte, Bilder, Video, Audio), semistrukturiert, strukturiert (z. B. aus einer relationalen Datenbank oder einem Wissensgraphen[4]) vorliegen. In der Vektordatenbank werden hierbei die Worteinbettungen mit den originalen Daten verknüpft.[2]
Abhängig von der jeweiligen Implementierung können auch Suchanfragen an das System und die zugehörigen Antworten durch ein RAG-System indexiert werden.
Chunking (Aufteilen der Daten)
Im ersten Schritt werden die zu indexierenden Daten in kleinere Bestandteile ('Chunks') aufgeteilt. Textdokumente können beispielsweise in kleinere Absätze aufgeteilt werden, während man Wissensgraphen in Sub-Graphen zerteilt. Bilder können nach den Objekten im Bild (Hund, Tisch, Gesicht etc.) mittels eines Segmentierungsmodells aufgeteilt werden.[5] Bei relationalen Datenbanken kann man das Datenbankschema (z. B. DDL) nach zusammengehörigen Tabellen aufteilen, welche fusioniert (z. B. "join") werden müssen.
Die einzelnen Bestandteile werden anschließend mit Annotationen versehen, um sie der ursprünglichen Datenquelle zuordnen zu können.
Vektor-Generierung
Die einzelnen Chunks werden mittels Tokenisierung in Token zerlegt. Diese Token werden anschließend durch ein Einbettungsmodell in Worteinbettungen (Vektoren) übersetzt. Die Worteinbettungen werden dann in der Vektordatenbank gemeinsam mit den Chunks und Annotationen gespeichert.
Bei Bildinformationen wird hier das Bild von einem Bild-zu-Text Modell in eine Beschreibung übersetzt und diese Beschreibung für die Worteinbettung verwendet. Seltener wird das Bild selbst codiert, denn hierfür wird ein geeigneter Tokenizer benötigt, welcher Bilddaten verarbeiten kann. Wenn Bild- und Textdaten in derselben Datenbank gespeichert werden sollen, wird ein multimodaler Tokenizer benötigt. Ähnliches gilt für das Verarbeiten von Audio- und Videodaten.
Vernetzung von Daten
Komplexe RAG-Systeme besitzen die Möglichkeit, die Daten miteinander automatisiert zu verknüpfen. Hierbei werden mittels eines Sprachmodells aus den indizierten Dokumenten ein Wissensgraph extrahiert und die innerhalb eines Dokuments beschriebenen Konzepte mit den jeweiligen Konzepten im Wissensgraphen verknüpft.[6] Diese Verknüpfung ermöglicht eine formale Analyse der zuvor nur unstrukturiert vorgelegenen Daten.
Datenabruf
Beim Datenabruf wird eine Suchanfrage des Benutzers zuerst in eine Worteinbettung umgewandelt. Anschließend wird ermittelt, welche in der Vektordatenbank gespeicherten Daten mit der Abfrage des Benutzers semantisch korrelieren.[7][2] Werden hierbei relevante Daten gefunden, werden diese gewichtet ('Ranking') und gefiltert.
Für die Berechnung der Korrelation können unterschiedliche Verfahren zum Einsatz kommen. Typisch ist die Verwendung von Okapi BM25[8], SPLADE[9], Dragon[10], oder eine Kombination mehrerer Verfahren.
Filterung
Die Filterung der Daten kann aus unterschiedlichen Gründen erfolgen. Hierbei gilt es die Vertraulichkeit der Daten, Jugendschutz-Einschränkungen, Urheberrechte und ähnliches zu berücksichtigen.
Rephrasing
Einige Systeme können die Suchergebnisse mittels eines Sprachmodells auf Relevanzkriterien bewerten. Werden keine relevanten Daten gefunden, kann ein weiterer Agent die Anfrage des Benutzers umformulieren ('rephrasing') und eine neue Suche starten. Das System wird darin beschränkt, wie viele Versuche es hat und/oder wie lange es hierfür Zeit hat.
Da bei diesem Verfahren mehrere zusätzliche Schritte benötigt werden, ergibt sich ein erhöhter Arbeits- und Zeitaufwand für das System, um ein Ergebnis zu liefern. Der Vorteil besteht in der höheren Wahrscheinlichkeit ein günstiges Suchergebnis zu erhalten.
Relationale Daten
Bei relationalen Daten werden die Daten üblicherweise nicht vollständig in Dokumente umgewandelt und in der Vektordatenbank gespeichert, sondern nur das Datenschema. Bei der Suche wird das nötige Datenschema zurückgeliefert, aus dem ein Sprachmodell SQL-Quelltext erzeugt ('Text-to-SQL'). Dieser wird auf der Datenbank ausgeführt, um die benötigten Informationen zu generieren.[11]
Hierbei gilt zu beachten, dass der erzeugte Quelltext fehlerhaft oder schadhaft sein kann. Die Anfrage muss daher sowohl auf syntaktische Richtigkeit (Halluzination von nicht-existenden Tabellen oder Spalten), als auch die Schädlichkeit (z. B. mögliche SQL-Injection) untersucht werden. Die Datenbankabfrage muss durch geeignete Rechtesetzung "Read-Only", also schreibgeschützt sein.
Augmentierung
Im Augmentierungsprozess werden anwendungsspezifische Daten, etwa ein Systemprompt und die Metadaten des Benutzers, sowie die gefundenen Daten der Suchanfrage mit der Anfrage des Benutzers zusammengeführt.[2] Komplexe RAG-Systeme können hierbei die Anfrage des Benutzers in unterschiedliche Wissensgebiete aufteilen und spezifisch behandeln.
Antwortgenerierung
Im letzten Schritt wird die augmentierte Suchanfrage in ein Sprachmodell übergeben, welches die Daten mittels eines statistischen Modells in eine Antwort transformiert[12].
Zudem wird die vom Sprachmodell generierte Antwort mit Referenzen auf die Quellen der Daten verknüpft (typischerweise über einen URI), um dem Benutzer eine Nachvollziehbarkeit und Kontrollmöglichkeit der Antwort zu ermöglichen.
Anwendungen
Da RAG-Systeme eine Erweiterung zu klassischen Suchmaschinen sind, sind die Einsatzbereiche überschneidend. Anwendungen für RAG-Systeme finden in der Kundenbetreuung[13][14][15], der Analyse medizinischer Informationen[16][17], juristischen Recherchen[18], der Bildung[19][20], wissenschaftlichen Forschung, Finanzanalyse[21][22], der Auswertung von Logdaten[23][24], sowie allen anderen Anwendungen, bei denen das Auffinden von Informationen relevant ist.
Herausforderungen
RAG-Systeme weisen aufgrund einer Vielzahl an beteiligten Softwaresystemen und Akteuren eine hohe Komplexität in der Implementierung auf.
Zudem muss die Indexierung, die Gewichtung und die Filterung der Daten kontinuierlich an sich ständig ändernde Gegebenheiten angepasst und erweitert werden. Der Betrieb eines RAG-Systems ist somit nicht nur mit einem hohen Aufwand in der Implementierung, sondern auch mit einem kontinuierlichen Aufwand im Betrieb verbunden.
Softwarepakete
Für die Implementierung von RAG-Systemen gibt es Softwarepakete, welche Anwendungsspezifisch angepasst werden müssen. Hierbei unterscheidet man zwischen komplexen Software-Frameworks, welche eine umfangreiche Orchestrierung von KI-Agenten und Programmierschnittstellen ermöglichen, sowie Softwarepaketen, welche eine Low-Code Umgebung bereitstellen.
| Softwarepaket | Lizenz | Beschreibung |
|---|---|---|
| Microsoft Copilot Studio | Proprietär | Low-Code Web-Plattform in Microsoft 365 |
| Azure AI Studio | Proprietär | Low-Code Web-Plattform in Microsoft Azure. Auch komplexe Orchestrierung möglich. |
| PromptFlow | Open-Source | Technologie hinter Copilot Studio und Azure AI Studio. Ermöglicht eine komplexe Orchestrierung. Integration mit LangChain oder Semantic Kernel möglich. |
| Vertex AI Agent Builder | Proprietär | Low-Code Web-Plattform der Google Cloud |
| watsonx | Proprietär | Low-Code Orchestrierungs-Plattform von IBM |
| Firecrawl | Open-Source | API-Service zur Webseitenindexierung |
| LangChain und LangGraph | Open-Source | Framework für Orchestrierung von KI-Systemen |
| Kernel Memory | Open-Source | Framework zur Erstellung von RAG-Systemen |
| Semantic Kernel | Open-Source | Framework für Orchestrierung von KI-Systemen |
| Haystack | Open-Source | Framework zur Erstellung von RAG-Systemen |
| REALM | Open-Source | Google-Research-Projekt mit einer RAG-System Beispielimplementierung |
| RAGFlow | Open-Source | Ein Framework, das sich auf die Vereinfachung der Erstellung von RAG-basierten Anwendungen konzentriert, mit vorgefertigten Komponenten und Workflows. |
| txtai | Open-Source | Eine KI-gestützte Datenplattform, die Such- und Frage-Antwort-Funktionen bietet und sich leicht in bestehende Systeme integrieren lässt. |
| LlamaIndex | Open-Source | Ein Tool zum Aufbau von Indizes über Ihre Daten, um sie für LLMs (Large Language Models) zugänglich zu machen. |
| RAGAS | Open-Source | Ein Evaluierungsframework für RAG-Systeme, das Metriken zur Bewertung der Antwortqualität bietet. |
| RAGstack | Open-Source | Ein Stack zum Aufbau von RAG-Systemen mit Komponenten wie LangChain, FastAPI und anderen. |
| RAG Architect | Open-Source | Ein Framework zur Erstellung von RAG-Systemen mit Fokus auf Modularität und Erweiterbarkeit. |
| RAG End-to-End | Open-Source | Ein End-to-End-Beispiel für die Implementierung von RAG mit den Transformers von Hugging Face. |
| RAG Pipeline | Open-Source | Eine Pipeline innerhalb von Haystack zur Implementierung von RAG-Systemen. |
| STORM | Open-Source | Ein von der Stanford OVAL entwickelte LLM-gestützte Wissenskurationssystem, das Wikipedia-ähnliche Artikel basierend auf Internetrecherchen erstellt. |
| LLM-App | Open-Source | Ein Framework von Pathway, das die Erstellung von Anwendungen mit großen Sprachmodellen erleichtert. |
| Cognita | Open-Source | Ein von TrueFoundry entwickeltes Tool zur Integration von Wissensdatenbanken in KI-gestützte Anwendungen. |
| R2R | Open-Source | Ein von SciPhi-AI entwickeltes Framework zur Implementierung von Retrieval-zu-Response-Systemen. |
| Neurite | Open-Source | Ein von SatelliteComponent entwickeltes Tool zur neuronalen Informationsverarbeitung und -extraktion. |
| FlashRAG | Open-Source | Ein von RUC-NLPIR entwickeltes Framework für schnelle Retrieval-Augmented Generation. |
| Canopy | Open-Source | Ein von Pinecone entwickeltes Tool zur Verwaltung und Orchestrierung von Vektordatenbanken für RAG-Systeme. |
Zusätzlich gibt es auch fertige Softwarepakete wie Pieces for Developers, welche für das persönliche Datenmanagement eingesetzt werden können.[25]
Retrieval Augmented Generation wird zudem in einigen Suchmaschinen wie Perplexity.ai, Google Gemini, Microsoft Bing, sowie SearchGPT eingesetzt.
Referenzen
- ↑ Christopher D. Manning, Prabhakar Raghavan, Hinrich Schütze: Introduction to Information Retrieval. Hrsg.: Stanford University, Ludwig-Maximilians-Universität München. 2009, ISBN 978-0-521-86571-5 (englisch, stanford.edu).
- ↑ a b c d Trey Grainger, Doug Turnbull, Max Irwin: AI-Powered Search. Hrsg.: Manning. 2024, ISBN 978-1-61729-697-0 (englisch, manning.com [abgerufen am 23. Juli 2024]).
- ↑ Penghao Zhao et al.: Retrieval-augmented generation for ai-generated content: A survey. 21. Juni 2024, doi:10.48550/arXiv.2402.19473, arxiv:2402.19473 (englisch).
- ↑ Tomaž Bratanič, Oskar Hane: Knowledge Graph-Enhanced RAG. Hrsg.: Manning. 2024, ISBN 978-1-63343-626-8 (englisch, manning.com [abgerufen am 23. Juli 2024]).
- ↑ Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Dollár, Ross Girshick: Segment Anything. 5. April 2023, doi:10.48550/arXiv.2304.02643, arxiv:2304.02643 (englisch).
- ↑ Junde Wu, Jiayuan Zhu, Yunli Qi: Medical Graph RAG: Towards Safe Medical Large Language Model via Graph Retrieval-Augmented Generation. 17. August 2024, doi:10.48550/arXiv.2408.04187, arxiv:2408.04187 (englisch).
- ↑ Olesya Bondarenko: Implement Semantic Search with ML and BERT. Hrsg.: Manning. (englisch, manning.com [abgerufen am 23. Juli 2024]).
- ↑ Stephen E. Robertson, Hugo Zaragoza: The Probabilistic Relevance Framework: BM25 and Beyond. Januar 2009, doi:10.1561/1500000019 (englisch, researchgate.net [PDF; 1,3 MB; abgerufen am 23. Juli 2024]).
- ↑ SPLADE. In: GitHub. Abgerufen am 17. August 2024 (englisch).
- ↑ Ayush Thakur: llmware/dragon-mistral-7b-v0: A Powerful LLM for RAG Applications. Medium, 22. Dezember 2023, abgerufen am 16. August 2024 (englisch).
- ↑ Pinterest Engineering: How we built Text-to-SQL at Pinterest. Medium, 2. April 2024, abgerufen am 17. August 2024 (englisch).
- ↑ Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Meng Wang, Haofen Wang: Retrieval-Augmented Generation for Large Language Models: A Survey. Tongji-Universität, Fudan-Universität, 27. März 2024, arxiv:2312.10997 (englisch).
- ↑ Keshav Unni: Better Customer Support Using Retrieval-Augmented Generation (RAG) at Thomson Reuters. Medium, 8. August 2023, abgerufen am 18. August 2024 (englisch).
- ↑ Tarunvel V S: RAG in Customer Support. Medium, 11. April 2024, abgerufen am 18. August 2024 (englisch).
- ↑ Adarsh: Enhancing Customer Service with Retrieval-Augmented Generation (RAG) in AI Chatbots. kommunicate.io, 6. August 2024, abgerufen am 18. August 2024 (englisch).
- ↑ Tanya Malhotra: MedGraphRAG: An AI Framework for Improving the Performance of LLMs in the Medical Field through Graph Retrieval Augmented Generation (RAG). 12. August 2024, abgerufen am 16. August 2024 (englisch).
- ↑ Junde Wu, Jiayuan Zhu, Yunli Qi: Medical Graph RAG: Towards Safe Medical Large Language Model via Graph Retrieval-Augmented Generation. 8. August 2024, doi:10.48550/arXiv.2408.04187, arxiv:2408.04187.
- ↑ Arunim Samat: Legal-RAG vs. RAG: A Technical Exploration of Retrieval Systems. truelaw.ai, 23. März 2024, abgerufen am 16. August 2024 (englisch).
- ↑ Enhancing Education with RAG: How Universities Can Benefit. ElementX.ai, abgerufen am 16. August 2024 (englisch).
- ↑ Unveiling the Impact of RAG AI in Education: Real Case Studies Revealed. MyScale, 17. März 2024, abgerufen am 16. August 2024 (englisch).
- ↑ Eduardo Alvarez: Transforming Financial Services with RAG: Personalized Financial Advice. Medium, 5. April 2024, abgerufen am 16. August 2024 (englisch).
- ↑ Embracing RAG in Financial Services: A New Frontier in AI Technologies. In: LinkedIn Pulse. RoSoft Ventures, 11. November 2023, abgerufen am 16. August 2024 (englisch).
- ↑ Harikiran Akella: Log Analysis with GenAI — With HandsOn. Medium, 21. März 2024, abgerufen am 16. August 2024 (englisch).
- ↑ Yi Xiao, Van-Hoang Le, Hongyu Zhang: Stronger, Cheaper and Demonstration-Free Log Parsing with LLMs. 12. Juni 2024, doi:10.48550/arXiv.2406.06156, arxiv:2406.06156 (englisch).
- ↑ Pieces. Abgerufen am 1. September 2024.