Hipoteza
Co dokładnie chcemy sprawdzić i jaka różnica byłaby istotna.
TESTY I EKSPERYMENTY
Laboratorium Tervyxa Systems
Ta część serwisu opisuje sposób przygotowania i dokumentowania eksperymentów dotyczących modeli, RAG, automatyzacji i infrastruktury. Nie jest katalogiem wyników bez kontekstu.
Cykl eksperymentu
Warunki
Model, runtime, sprzęt, dane i parametry istotne dla wyniku.
Pomiar
Jawna metryka, powtórzenia i zapis wyników.
Interpretacja
Wniosek wraz z ograniczeniami i zakresem, którego dotyczy.
Co testujemy
LLM i RAG
Jakość odpowiedzi, retrieval, kontekst, regresja i zachowanie przy braku danych.
Automatyzacja
Duplikaty, retry, timeouty, błędne wejścia, stan procesu i ręczne przejęcie.
Infrastruktura
Latencja, przepustowość, pamięć, nasycenie, długie obciążenie i odtwarzanie po awarii.
Integracje
Kontrakty danych, zmiany schematu, błędy zależności i odporność przepływu.
Publikacja benchmarku
Wynik liczbowy powinien być publikowany razem z warunkami potrzebnymi do jego interpretacji. Szczegółowy standard opisuje metodologia benchmarków.