Teoria informacji kodowanie

Name: lok-ai — Lokalna Automatyzacja Biznesu
Address: Grudziądz, kujawsko-pomorskie, PL
Telephone: +48-534-541-454
Price range: $$

22 pojęć w 8 podgrupach, z prostymi definicjami i źródłami.

Informacja algorytmiczna · 1

01złożoność Kołmogorowazłożoność algorytmicznaAlgorytmiczna miara informacji obiektu równa długości najkrótszego programu generującego ten obiekt na uniwersalnej maszynie obliczeniowej.

01kod korekcyjnykod nadmiarowyKod dodający redundancję do przesyłanych danych, by umożliwić wykrycie i naprawę błędów powstałych w kanale.
02kod liniowyKod blokowy, którego słowa tworzą podprzestrzeń liniową przestrzeni wektorowej nad ciałem skończonym, opisany macierzą generującą.
03odległość HammingaLiczba pozycji, na których dwa słowa kodowe równej długości się różnią; określa zdolność kodu do wykrywania i korekcji błędów.

01kodowanie arytmetyczneMetoda kompresji odwzorowująca cały ciąg symboli na pojedynczą liczbę z przedziału jednostkowego, osiągająca długość bliską entropii.
02kodowanie HuffmanaMetoda budowy optymalnego prefiksowego kodu o zmiennej długości, przypisująca krótsze słowa kodowe częstszym symbolom źródła.
03kompresja bezstratnaKodowanie danych umożliwiające dokładne odtworzenie oryginału, redukujące rozmiar przez usunięcie statystycznej redundancji.
04kompresja stratnaKodowanie danych dopuszczające kontrolowane zniekształcenie odtworzenia w zamian za większy stopień redukcji rozmiaru.

01dywergencja Kullbacka-Leibleradywergencja KL; entropia względnaNiesymetryczna miara różnicy między dwoma rozkładami prawdopodobieństwa, wyrażająca nadmiar bitów potrzebny przy kodowaniu wg rozkładu przybliżonego zamiast prawdziwego.
02entropia różniczkowaOdpowiednik entropii dla ciągłych zmiennych losowych, definiowany przez całkę z gęstości pomnożonej przez logarytm gęstości.
03entropia ShannonaMiara średniej ilości informacji (nieokreśloności) źródła dyskretnego, równa oczekiwanej wartości minus logarytmu prawdopodobieństw symboli, wyrażana w bitach.
04entropia warunkowaŚrednia nieokreśloność jednej zmiennej losowej przy znanej wartości drugiej zmiennej, uśredniona po rozkładzie tej drugiej.
05informacja wzajemnaMiara redukcji nieokreśloności jednej zmiennej losowej dzięki znajomości drugiej; ilość informacji, którą zmienne niosą o sobie nawzajem.

01kod prefiksowykod natychmiastowyKod, w którym żadne słowo kodowe nie jest przedrostkiem innego, co umożliwia jednoznaczne i natychmiastowe dekodowanie strumienia.
02nierówność Kraftanierówność Krafta-McMillanaWarunek konieczny i wystarczający na istnienie kodu prefiksowego o zadanych długościach słów: suma potęg podstawy o wykładnikach ujemnych długości nie przekracza jedności.

01kanał binarny symetrycznyBSCModel kanału o wejściu i wyjściu binarnym, w którym każdy bit jest niezależnie odwracany z jednakowym prawdopodobieństwem błędu.
02kanał komunikacyjnyModel probabilistyczny opisany rozkładem warunkowym wyjścia względem wejścia, reprezentujący medium przesyłu informacji wraz z zakłóceniami.
03przepustowość kanałuMaksymalna informacja wzajemna między wejściem a wyjściem kanału po wszystkich rozkładach wejścia; górne ograniczenie szybkości niezawodnej transmisji.

01funkcja zniekształcenie-szybkośćfunkcja rate-distortionNajmniejsza szybkość bitowa potrzebna do zakodowania źródła przy zadanym dopuszczalnym poziomie zniekształcenia odtworzenia.
02twierdzenie o kodowaniu kanałutwierdzenie ShannonaWynik mówiący, że transmisja z dowolnie małym prawdopodobieństwem błędu jest możliwa wtedy i tylko wtedy, gdy szybkość nie przekracza przepustowości kanału.
03twierdzenie o kodowaniu źródłaWynik mówiący, że dolnym granicznym oczekiwanym kosztem bezstratnego kodowania źródła jest jego entropia.

01zbiór typowyZbiór ciągów źródła, których empiryczna entropia jest bliska entropii źródła; skupia niemal całe prawdopodobieństwo i ma rozmiar rzędu dwóch do entropii.