RESEARCH // INFRASTRUCTURE
Jak oceniać infrastrukturę dla systemów AI
Wydajność systemu AI jest wynikiem całego stosu: modelu, pamięci, środowiska uruchomieniowego, kolejek, danych i sposobu obsługi obciążenia.
Co mierzyć
- czas odpowiedzi i czas do pierwszego wyniku,
- przepustowość przy obciążeniu,
- zużycie pamięci i zasobów obliczeniowych,
- stabilność długich zadań,
- zachowanie po błędach i restartach,
- koszt utrzymania względem realnego wykorzystania.
Benchmark musi mieć kontekst
Liczba bez opisu modelu, wersji oprogramowania, parametrów, danych i sprzętu ma małą wartość porównawczą. Dlatego warstwa research oddziela metodę od nieopublikowanych wyników.