Jak ocenić mały model w zadaniu ekstrakcji danych

Trzy pomiary przed zmianą modelu: poprawność odpowiedzi, czas i koszt poprawnego wyniku.

Przed zmianą modelu wybierz jedno zadanie, na przykład odczytanie numeru zamówienia z wiadomości. Zbierz zwykłe przykłady, długie wiadomości i przypadki, w których numeru brakuje. Zachowaj te same dane testowe dla obu modeli.

1. Ustal kryteria jakości

Najpierw sprawdź poprawność formatu. Jeśli aplikacja oczekuje obiektu JSON, oddziel błędy składni od błędnych wartości. Dobrym testem jest wiadomość zawierająca numer zamówienia i podobnie wyglądający numer faktury. Model powinien wybrać właściwe pole albo zwrócić ustalony znak braku danych.

2. Zmierz czas do poprawnego wyniku

Następnie zmierz czas do otrzymania wyniku, który aplikacja może wykorzystać. Wlicz ponowne zapytania wynikające z błędnego formatu. Porównaj medianę i 95. percentyl przy takiej równoległości, jaką obserwujesz w godzinach pracy.

3. Policz koszt poprawnej odpowiedzi

Na koniec policz koszt przypadający na poprawny wynik, dzieląc łączny koszt wszystkich prób przez liczbę poprawnych odpowiedzi. Powtórz test po jednej zmianie, na przykład po skróceniu instrukcji. Wtedy łatwiej zobaczysz, czy poprawa wynika z wyboru modelu, czy ze zmiany sposobu zadawania pytania.

Przykład obliczenia. Jeśli 100 prób kosztowało łącznie 2 zł i otrzymałeś 80 poprawnych odpowiedzi, jedna poprawna odpowiedź kosztowała 2,5 grosza. Model, który kosztuje mniej za pojedyncze zapytanie, może wypaść gorzej po uwzględnieniu powtórek. Zapisz obok wyniku liczbę przerwanych i niejednoznacznych prób, aby porównanie obejmowało także trudne przypadki.

Gdy tańszy model wymaga poprawiania tylko jednej kategorii danych, rozważ obsługę tej kategorii przez drugi model. Przed wdrożeniem sprawdź jeszcze raz cały przebieg, od pierwszej odpowiedzi do przyjęcia poprawnego wyniku przez aplikację.

Więcej o wyborze modelu znajdziesz w artykule Ailoot Małe modele językowe — wyjaśnienie.

Built with LogoFlowershow