Inferencja wdrozenie i kompresja

Trening mniejszego modelu (ucznia), by naśladował wyjścia większego modelu (nauczyciela), przenosząc jego wiedzę przy mniejszym koszcie.

Większy, dokładny model, którego wyjścia stanowią cel uczenia dla mniejszego modelu w destylacji wiedzy.

Faza użycia wytrenowanego modelu do obliczenia predykcji na nowych danych wejściowych, bez aktualizacji wag.

Przyspieszanie generacji przez model pomocniczy proponujący kilka tokenów naraz, które główny model weryfikuje jednym przebiegiem.

Bufor przechowujący klucze i wartości z poprzednich kroków uwagi w transformerze, by uniknąć ich ponownego liczenia podczas generacji.

Redukcja precyzji liczbowej wag i aktywacji modelu (np. z FP32 na INT8) w celu zmniejszenia rozmiaru i przyspieszenia obliczeń.

Skrajna kwantyzacja, w której wagi lub aktywacje przyjmują jedynie dwie wartości, drastycznie redukując pamięć i koszt obliczeń.

Kwantyzacja stosowana do gotowego, wytrenowanego modelu bez ponownego uczenia, zwykle z użyciem małego zbioru kalibracyjnego.

Technika symulująca efekty kwantyzacji podczas treningu, by model nauczył się odporności na obniżoną precyzję.

Aproksymacja macierzy wag iloczynem macierzy o niższym rzędzie, redukująca liczbę parametrów i operacji.

Czas od podania wejścia do otrzymania predykcji modelu dla pojedynczego zapytania.

Liczba zapytań lub tokenów przetwarzanych przez system inferencji w jednostce czasu.

Degradacja jakości predykcji wdrożonego modelu w czasie wskutek zmiany rozkładu danych wejściowych względem treningowych.

Usuwanie nadmiarowych wag, neuronów lub kanałów sieci, by zmniejszyć liczbę parametrów i koszt obliczeniowy przy zachowaniu jakości.

Własność modelu, w którym znaczna część wag ma wartość zero, co umożliwia kompresję i przyspieszenie obliczeń rzadkich.

Wykonywanie obliczeń modelu na wyspecjalizowanych układach (GPU, TPU, NPU) zamiast CPU, dla większej wydajności.

Łączenie kilku kolejnych operacji grafu w jedno jądro obliczeniowe, redukujące transfery pamięci i narzut wywołań.

Skierowany graf reprezentujący operacje i przepływ danych w modelu, podstawa do wykonania i optymalizacji obliczeń.

System przekształcający model wysokiego poziomu w zoptymalizowany kod wykonywalny dla docelowego sprzętu.

Tworzenie wsadów w locie z napływających zapytań w oknie czasowym, równoważące latencję i przepustowość przy zmiennym ruchu.

Łączenie wielu zapytań w jeden wsad przetwarzany razem, by lepiej wykorzystać równoległość sprzętu i zwiększyć przepustowość.

Udostępnianie wytrenowanego modelu jako usługi obsługującej zapytania predykcyjne w produkcji.

Wykonywanie modelu lokalnie na urządzeniu końcowym blisko źródła danych, bez wysyłania ich do chmury.