Reranking jako drugi etap wyboru kontekstu
Pierwszy retrieval ma szybko znaleźć grupę potencjalnie pasujących fragmentów. Reranking ponownie ocenia mniejszy zestaw kandydatów dokładniejszym mechanizmem, aby najlepsze źródła trafiły wyżej przed generowaniem odpowiedzi.
Kiedy reranking pomaga
- Retrieval regularnie znajduje właściwy fragment, ale nie umieszcza go wystarczająco wysoko.
- Dokumenty są semantycznie podobne i proste podobieństwo zwraca wiele trudnych do rozróżnienia kandydatów.
- Do modelu można przekazać tylko ograniczoną liczbę fragmentów i ich kolejność ma duże znaczenie.
Kiedy nie jest potrzebny
Jeżeli retrieval już osiąga wymaganą trafność albo problemem są słabe źródła, brak metadanych lub zły chunking, dodatkowa warstwa może zwiększyć latencję bez rozwiązania rzeczywistego problemu.
Kompromis: jakość i koszt
Reranker ocenia określoną liczbę kandydatów. Większy zestaw może zwiększyć szansę znalezienia dobrego kontekstu, ale podnosi koszt i czas odpowiedzi. Liczbę kandydatów warto dobierać na podstawie testu, a nie arbitralnej wartości.
Jak oceniać poprawę
| Pytanie | Co sprawdzić |
|---|---|
| Czy właściwe źródło było w retrievalu? | Jeśli nie, reranking nie może go odzyskać. |
| Czy przesunęło się wyżej? | Porównaj pozycję właściwego fragmentu przed i po rerankingu. |
| Czy poprawił się wynik końcowy? | Lepsza kolejność powinna przełożyć się na jakość odpowiedzi dla testowych pytań. |
| Jaki jest koszt? | Mierz dodatkową latencję i wykorzystanie zasobów. |
Reranking nie naprawia złej bazy wiedzy
Nie zastąpi aktualnych dokumentów, uprawnień, filtrowania ani poprawnego przygotowania treści. Jest optymalizacją warstwy wyboru kandydatów, nie zabezpieczeniem całego systemu.