Nr 01 · Słownik · AI / Machine Learning · AI / ML / DL / NLP

Regularyzacja i generalizacja

10 pojęć w 8 podgrupach, z prostymi definicjami i źródłami.

Bias variance · 3

  • 01kompromis obciążenie-wariancjabias-variance tradeoffZależność, w której zmniejszanie obciążenia estymatora zwykle zwiększa jego wariancję i odwrotnie, wpływając na całkowity błąd predykcji.
  • 02obciążeniebiasSystematyczny błąd estymatora wynikający z błędnych założeń modelu; różnica między wartością oczekiwaną predykcji a wartością prawdziwą.
  • 03wariancjaWrażliwość predykcji modelu na zmiany w zbiorze treningowym; składowa błędu wynikająca z fluktuacji estymatora między próbkami.

Miary bledu · 1

  • 01błąd generalizacjibłąd testowyOczekiwana wartość funkcji straty modelu na nowych danych z rozkładu generującego; oczekiwany błąd poza zbiorem treningowym.

Normalizacja aktywacji · 1

  • 01normalizacja wsadowabatch normalizationStandaryzacja aktywacji warstwy w obrębie minipakietu danych w trakcie treningu, stabilizująca uczenie i działająca regularyzująco.

Regularyzacja pojecie · 1

  • 01kara regularyzacyjnaregularization penaltySkładnik dodawany do funkcji celu, penalizujący złożoność modelu w celu poprawy generalizacji; jego siłę kontroluje współczynnik regularyzacji.

Regularyzacja sieci · 1

  • 01dropoutMetoda regularyzacji sieci neuronowych polegająca na losowym wyłączaniu części neuronów podczas treningu, co zapobiega ich współzależności.

Regularyzacja wag · 1

  • 01regularyzacja L1lassoDodanie do funkcji straty kary proporcjonalnej do sumy wartości bezwzględnych wag, sprzyjającej rozwiązaniom rzadkim z zerowymi wagami.

Teoria uczenia · 1

  • 01wymiar VCwymiar Vapnika-CzerwonenkisaMiara pojemności klasy hipotez równa największej liczbie punktów, którą klasa potrafi rozbić we wszystkich możliwych etykietowaniach.

Zlozonosc modelu · 1

  • 01pojemność modelumodel capacityZdolność modelu do dopasowania szerokiego zakresu funkcji; zbyt duża sprzyja przeuczeniu, zbyt mała niedouczeniu.

Pozostałe grupy — AI / ML / DL / NLP

Grupa pojęć · AI / ML / DL / NLP10 haseł