Zakres
Określ klasę zadań, reprezentatywne dane i oczekiwany wynik.
METODYKA OCENY SYSTEMÓW
Jak oceniać systemy AI przed wdrożeniem i po zmianach
Ocena powinna oddzielać jakość odpowiedzi, działanie całego procesu, wydajność infrastruktury i odporność na błędy. Jedna liczba lub pojedynczy przykład nie opisuje systemu produkcyjnego.
Obszary oceny
Minimalny protokół testu
Metryki
Ustal kryteria jakości i wydajności przed uruchomieniem testu.
Przypadki brzegowe
Sprawdź błędne wejścia, brak danych, awarie zależności i sytuacje wymagające człowieka.
Regresja
Po zmianie modelu, promptu, źródeł lub integracji powtórz ten sam zestaw kontroli.
Kiedy wynik nadaje się do porównania
Porównanie ma sens tylko wtedy, gdy znane są warunki testu i nie zmieniono jednocześnie wielu istotnych zmiennych. Wydajność, jakość i koszt należy raportować oddzielnie, bo mogą prowadzić do różnych decyzji.
Nie publikujemy wyniku bez kontekstu.
Jeżeli wynik liczbowy ma być cytowany jako benchmark, powinien mieć opis środowiska, wersji, danych wejściowych, metryki, powtórzeń i ograniczeń.
Metodyka wspiera decyzje opisane w rozwiązaniach, porównaniach i bazie wiedzy.