Firma będzie używać wstępnie wytrenowanego modelu (bez dodatkowego trenowania) do wykrywania wypadków drogowych i kontaktowania się ze służbami ratunkowymi w ciągu 30 sekund. Który atrybut modelu firma powinna priorytetyzować, aby spełnić to wymaganie?

Firma musi wykrywać wypadki i kontaktować się ze służbami ratunkowymi w ciągu 30 sekund, co oznacza, że model musi działać bardzo szybko. Opóźnienie wnioskowania (inference latency) to czas potrzebny modelowi na przetworzenie danych wejściowych i wygenerowanie prognozy. Mniejszy rozmiar modelu zazwyczaj przekłada się na krótsze opóźnienie wnioskowania, ponieważ wymaga mniej zasobów obliczeniowych i czasu na wykonanie operacji. Priorytetyzacja rozmiaru modelu, a co za tym idzie niskiego opóźnienia, jest kluczowa dla spełnienia wymogu czasowego. Dostosowanie modelu (fine-tuning) nie jest potrzebne, ponieważ firma używa modelu wstępnie wytrenowanego bez dodatkowego trenowania. Koszt modelu jest ważny, ale nie jest atrybutem bezpośrednio wpływającym na szybkość działania. Temperatura modelu to parametr używany w generatywnych modelach językowych do kontrolowania losowości odpowiedzi, co nie ma zastosowania w tym scenariuszu wykrywania wypadków.