Nr 01 · Słownik · AI / Machine Learning · AI / ML / DL / NLP

Ewaluacja i metryki

12 pojęć w 8 podgrupach, z prostymi definicjami i źródłami.

Kalibracja niepewnosci · 1

  • 01kalibracjacalibrationZgodność deklarowanych prawdopodobieństw modelu z empiryczną częstością zdarzeń; dobrze skalibrowany model ma trafne oceny pewności.

Klasyfikacja bledy · 3

  • 01czułośćrecall / sensitivityUdział poprawnie wykrytych przypadków pozytywnych wśród wszystkich rzeczywistych pozytywów; mierzy zdolność wykrywania klasy docelowej.
  • 02miara F1F1-scoreŚrednia harmoniczna precyzji i czułości, łącząca obie w jedną wartość; szczególny przypadek miary F dla równej wagi.
  • 03precyzjaang. precisionUdział poprawnych wskazań klasy pozytywnej wśród wszystkich wskazań tej klasy; mierzy frakcję trafnych spośród przewidzianych pozytywów.

Krzywe progowe · 2

  • 01AUCArea Under the CurvePole pod krzywą ROC; prawdopodobieństwo, że losowy pozytyw otrzyma wyższą ocenę niż losowy negatyw, miara separowalności klas.
  • 02krzywa ROCReceiver Operating CharacteristicWykres odsetka trafień względem odsetka fałszywych alarmów przy zmiennym progu decyzyjnym klasyfikatora binarnego.

Metryki rankingu · 1

  • 01średnia precyzjaAP / mAP (mean average precision)Pole pod krzywą precyzja-czułość uśredniające precyzję przy kolejnych poziomach czułości; standardowa miara w wyszukiwaniu i detekcji.

Miary czystosci · 1

  • 01współczynnik Giniegoindeks GiniegoMiara nieczystości węzła w drzewie decyzyjnym; prawdopodobieństwo błędnej klasyfikacji losowego elementu przy losowym przypisaniu klasy.

NLP metryki · 2

  • 01BLEUBilingual Evaluation UnderstudyAutomatyczna miara jakości tłumaczenia oparta na zgodności n-gramów wyjścia z tekstami referencyjnymi, z karą za zbyt krótkie wyjście.
  • 02ROUGERecall-Oriented Understudy for Gisting EvaluationRodzina miar jakości streszczeń porównujących pokrycie n-gramów i najdłuższych podsekwencji między tekstem a referencją.

Regresja bledy · 1

  • 01błąd średniokwadratowyMSE (mean squared error)Średnia z kwadratów różnic między wartościami przewidzianymi a obserwowanymi; standardowa miara błędu w regresji.

Zgodnosc anotacji · 1

  • 01kappa Cohenawspółczynnik kappaMiara zgodności między dwoma oceniającymi skorygowana o zgodność przypadkową; ocenia spójność etykietowania ponad poziom losowy.

Pozostałe grupy — AI / ML / DL / NLP

Grupa pojęć · AI / ML / DL / NLP12 haseł