ANSWER ENGINE
Jak mierzyć jakość systemu AI?
Najpierw trzeba zdefiniować, co oznacza dobry wynik dla konkretnego procesu. Dopiero potem dobiera się metryki.
Przykładowe kryteria
- poprawność merytoryczna,
- kompletność odpowiedzi,
- odsetek błędów krytycznych,
- zgodność ze źródłami,
- stabilność przy podobnych zadaniach,
- czas odpowiedzi i koszt procesu.
Ocena całego systemu
W RAG trzeba osobno mierzyć retrieval i odpowiedź modelu. W automatyzacji liczą się również integracje, obsługa wyjątków i możliwość kontroli przez człowieka.