RESEARCH // RAG
Jak mierzyć jakość systemu RAG
System RAG trzeba oceniać na dwóch poziomach: czy odzyskuje właściwe źródła oraz czy model poprawnie wykorzystuje dostarczony kontekst.
Co mierzyć
- recall i trafność retrieval,
- wpływ chunkingu i metadanych,
- jakość embeddings i rerankingu,
- pokrycie źródeł,
- zgodność odpowiedzi z kontekstem,
- zachowanie przy braku danych.
Najważniejsze ryzyko
Nawet dobry model językowy nie naprawi złego retrieval. Jeżeli właściwy fragment nie trafi do kontekstu, odpowiedź może być płynna, lecz merytorycznie błędna.