dekodowanie spekulatywne
speculative decoding
Przyspieszanie generacji przez model pomocniczy proponujący kilka tokenów naraz, które główny model weryfikuje jednym przebiegiem.
Karta hasła
- typproces
- nadrztechnika przyspieszania inferencji
- kat.AI / Machine Learning · AI / ML / DL / NLP · Inferencja wdrozenie i kompresja
- grupaInferencja wdrozenie i kompresja
Zobacz też
- dekodowanie spekulatywnepamięć podręczna KV
Powiązane pojęcia · AI / ML / DL / NLP
- 01kalibracjacalibrationZgodność deklarowanych prawdopodobieństw modelu z empiryczną częstością zdarzeń; dobrze skalibrowany model ma trafne oceny pewności.
- 02czułośćrecall / sensitivityUdział poprawnie wykrytych przypadków pozytywnych wśród wszystkich rzeczywistych pozytywów; mierzy zdolność wykrywania klasy docelowej.
- 03miara F1F1-scoreŚrednia harmoniczna precyzji i czułości, łącząca obie w jedną wartość; szczególny przypadek miary F dla równej wagi.
- 04precyzjaang. precisionUdział poprawnych wskazań klasy pozytywnej wśród wszystkich wskazań tej klasy; mierzy frakcję trafnych spośród przewidzianych pozytywów.
- 05AUCArea Under the CurvePole pod krzywą ROC; prawdopodobieństwo, że losowy pozytyw otrzyma wyższą ocenę niż losowy negatyw, miara separowalności klas.
- 06krzywa ROCReceiver Operating CharacteristicWykres odsetka trafień względem odsetka fałszywych alarmów przy zmiennym progu decyzyjnym klasyfikatora binarnego.