Ile danych potrzeba do RAG?
Nie istnieje uniwersalne minimum. Mały, dobrze przygotowany zbiór może działać lepiej niż duże archiwum pełne duplikatów, nieaktualnych dokumentów i sprzecznych wersji.
Zacznij od zakresu wiedzy
Wybierz jeden obszar, np. określone procedury, instrukcje lub dokumentację produktu. Im bardziej jednorodny i dobrze zdefiniowany pierwszy zakres, tym łatwiej ocenić retrieval i wykryć błędy.
Liczy się jakość źródeł
- Aktualna i zatwierdzona treść.
- Usunięte lub oznaczone duplikaty.
- Metadane potrzebne do filtrowania i uprawnień.
- Możliwość rozdzielenia dokumentu na sensowne fragmenty.
- Jednoznaczne źródło prawdy dla zmieniających się informacji.
Zestaw pytań jest równie ważny jak liczba dokumentów
Przygotuj pytania typowe, trudne oraz takie, na które system nie powinien znaleźć odpowiedzi. Najpierw sprawdź, czy właściwe fragmenty trafiają do TOP-k. Dopiero później zwiększaj zbiór.
Kiedy więcej danych pogarsza wynik
Gdy w indeksie pojawiają się stare wersje, podobne dokumenty bez dobrych metadanych albo treści, do których użytkownik nie powinien mieć dostępu. Większy zbiór zwiększa wymagania wobec retrieval i kontroli danych.