Trening i optymalizacja

Name: lok-ai — Lokalna Automatyzacja Biznesu
Address: Grudziądz, kujawsko-pomorskie, PL
Telephone: +48-534-541-454
Price range: $$

20 pojęć w 11 podgrupach, z prostymi definicjami i źródłami.

Dobor hiperparametrow · 1

01strojenie hiperparametrówProces poszukiwania wartości hiperparametrów minimalizujących błąd walidacyjny, np. przez przeszukiwanie siatki lub losowe.

01entropia krzyżowacross-entropyFunkcja straty mierząca rozbieżność między przewidywanym a docelowym rozkładem prawdopodobieństwa, standardowa w klasyfikacji.
02funkcja stratyFunkcja mierząca rozbieżność między przewidywaniem modelu a wartością docelową; jej minimalizacja steruje uczeniem parametrów.

01przeuczenieoverfittingStan, w którym model dopasowuje się do szumu danych treningowych, osiągając niski błąd treningowy, ale wysoki błąd na danych testowych.
02wczesne zatrzymanieearly stoppingTechnika regularyzacji przerywająca trening, gdy błąd na zbiorze walidacyjnym przestaje maleć, by zapobiec przeuczeniu.

01harmonogram uczenialearning rate scheduleStrategia zmieniająca tempo uczenia w trakcie treningu, zwykle malejąco, by poprawić zbieżność i jakość rozwiązania.
02tempo uczenialearning rateHiperparametr skalujący wielkość kroku aktualizacji parametrów w metodach gradientowych; zbyt duże powoduje rozbieżność, zbyt małe spowalnia zbieżność.

01regularyzacja L2weight decayDodanie do funkcji straty kary proporcjonalnej do kwadratu normy parametrów, co zmniejsza ich wartości i poprawia generalizację.

01momentumTechnika optymalizacji akumulująca wykładniczo ważoną średnią dotychczasowych gradientów, by przyspieszyć zbieżność i tłumić oscylacje.
02SGDstochastic gradient descentStochastyczny spadek gradientu — wariant spadku gradientu szacujący gradient na losowej próbce (mini-paczce) zamiast całego zbioru danych.
03spadek gradientuIteracyjna metoda optymalizacji aktualizująca parametry w kierunku przeciwnym do gradientu funkcji straty, aby zmniejszyć jej wartość.

01funkcja aktywacjiNieliniowa funkcja stosowana do wyjścia neuronu, umożliwiająca sieci modelowanie nieliniowych zależności.
02ReLUrectified linear unitProstowana jednostka liniowa — funkcja aktywacji zwracająca maksimum z zera i wejścia, łagodząca problem zanikającego gradientu.

01propagacja wstecznabackpropagationAlgorytm obliczania gradientu funkcji straty względem parametrów sieci przez wsteczne stosowanie reguły łańcuchowej warstwa po warstwie.

01Adamadaptive moment estimationAlgorytm optymalizacji adaptujący tempo uczenia dla każdego parametru na podstawie estymat pierwszego i drugiego momentu gradientu.

01epokaepochJeden pełny przebieg algorytmu uczenia przez cały zbiór treningowy.
02mini-paczkamini-batchNiewielki podzbiór danych treningowych użyty do jednej aktualizacji parametrów; kompromis między pełnym a pojedynczo-próbkowym szacowaniem gradientu.

01eksplodujący gradientexploding gradientProblem, w którym gradienty rosną wykładniczo podczas propagacji wstecznej, powodując niestabilność i rozbieżność treningu.
02obcinanie gradientugradient clippingTechnika ograniczająca normę gradientu do ustalonego progu, zapobiegająca destabilizacji treningu przez eksplodujące gradienty.
03zanikający gradientvanishing gradientProblem, w którym gradienty maleją wykładniczo w głębokich warstwach, uniemożliwiając skuteczną aktualizację wczesnych parametrów sieci.