Na początek, najlepiej byłoby zrozumieć the measure of information.

Jak mamy measure Informacje?

Kiedy dzieje się coś nieprawdopodobnego, mówimy, że to wielka wiadomość. Ponadto, kiedy mówimy coś przewidywalnego, to nie jest to naprawdę interesujące. Aby więc obliczyć to interesting-ness, funkcja powinna spełniać

• Jeśli prawdopodobieństwo zdarzenia wynosi 1( przewidywalne), to funkcja daje 0
• Jeśli prawdopodobieństwo zdarzenia jest bliskie 0, to funkcja powinna dawać wysokie liczba
• Jeśli prawdopodobieństwo 0,5 zdarzenia się wydarzy, podaje one bit informacje.

Jedną z miar naturalnych spełniających ograniczenia jest

I(X) = -log_2(p)

Gdzie p jest prawdopodobieństwem zdarzenia X. A jednostka jest w bit, tego samego bitu używa komputer. 0 LUB 1.

Przykład 1

Sprawiedliwy rzut monetą:

Ile informacji możemy uzyskać z jednego rzutu monetą?

Odpowiedź: -log(p) = -log(1/2) = 1 (bit)

Przykład 2

Jeśli meteor uderzy Ziemia jutro, p=2^{-22} wtedy będziemy mogli uzyskać 22 bity informacji.

Jeśli słońce wschodzi jutro, p ~ 1 wtedy jest 0 bit informacji.

Entropia

Więc jeśli weźmiemy pod uwagę interesting-ness zdarzenia Y, to jest to Entropia. tj. Entropia jest wartością oczekiwaną interesującego zdarzenia.

H(Y) = E[ I(Y)]

Bardziej formalnie Entropia jest oczekiwaną liczbą bitów zdarzenia.

Przykład

Y = 1: Zdarzenie X występuje z prawdopodobieństwo p

Y = 0: Zdarzenie X nie zachodzi z prawdopodobieństwem 1-P

H(Y) = E[I(Y)] = p I(Y==1) + (1-p) I(Y==0) 
     = - p log p - (1-p) log (1-p)

Baza logów 2 dla wszystkich logów.

Nie mogę dać ci grafiki, ale może dam ci jasne wyjaśnienie.

Załóżmy, że mamy kanał informacyjny, taki jak światło, które miga raz dziennie na czerwono lub na Zielono. Ile informacji przekazuje? Pierwsze odgadnięcie może być jednym bitem dziennie. Ale co jeśli dodamy niebieski, aby nadawca miał trzy opcje? Chcielibyśmy mieć miarę informacji, która może obsługiwać rzeczy inne niż potęgi dwóch, ale nadal być addytywna (sposób, w jaki mnożenie liczby możliwe wiadomości przez dwa dodaje jeden bit). Możemy to zrobić, biorąc log₂(liczba możliwych wiadomości), ale okazuje się, że jest bardziej ogólny sposób.

Załóżmy, że wracamy do czerwonego / zielonego, ale czerwona żarówka się wypaliła (to powszechna wiedza), więc lampa musi zawsze migać na Zielono. Kanał jest teraz bezużyteczny, wiemy, jaki będzie następny błysk {[7] } więc błyski nie przekazują żadnych informacji, żadnych wiadomości. Teraz naprawiamy żarówkę, ale narzucamy zasadę, że czerwona żarówka może nie błysk dwa razy z rzędu. Kiedy lampa miga na Czerwono, wiemy, jaki będzie następny błysk. Jeśli spróbujesz wysłać strumień bitowy przez ten kanał, przekonasz się, że musisz zakodować go z większą liczbą błysków niż masz bity (w rzeczywistości o 50% więcej). A jeśli chcesz opisać sekwencję błysków, możesz to zrobić z mniejszą ilością bitów. To samo dotyczy przypadku, gdy każdy błysk jest niezależny (bez kontekstu), ale zielone błyski są bardziej powszechne niż czerwone: im bardziej Przekrzywione prawdopodobieństwo, tym mniej bitów trzeba opisać Sekwencja, a im mniej zawiera informacji, aż do całej zielonej, wypalonej żarówki.

Okazuje się, że istnieje sposób na zmierzenie ilości informacji w sygnale, na podstawie prawdopodobieństwa różnych symboli. Jeśli prawdopodobieństwo otrzymania symbolu x_i wynosi p _i , to rozważmy Ilość

-log pi

Im mniejsze p _i , tym większa jest ta wartość. Jeśli x _i stanie się dwa razy mniej prawdopodobne, wartość ta wzrośnie o stałą kwotę (log (2)). Powinno to przypominać o dodaniu jednego bitu do wiadomości.

Jeśli nie wiemy, jaki będzie symbol (ale znamy prawdopodobieństwo), możemy obliczyć średnią tej wartości, ile otrzymamy, sumując różne możliwości:

I = -Σ pi log(pi)

To jest zawartość informacyjna w jednym flashu.

Red bulb burnt out: pred = 0, pgreen=1, I = -(0 + 0)  = 0
Red and green equiprobable: pred = 1/2, pgreen = 1/2, I = -(2 * 1/2 * log(1/2)) = log(2)
Three colors, equiprobable: pi=1/3, I = -(3 * 1/3 * log(1/3)) = log(3)
Green and red, green twice as likely: pred=1/3, pgreen=2/3, I = -(1/3 log(1/3) + 2/3 log(2/3)) = log(3) - 2/3 log(2)

Jest to treść informacji, czyli Entropia wiadomości. Jest maksymalna, gdy różne symbole są wyposażone. Jeśli jesteś fizykiem używasz log naturalny, jeśli jesteś informatykiem używasz log₂ i zdobądź kawałki.

Naprawdę polecam przeczytać o teorii informacji, metodach bayesowskich i MaxEnt. Na początek jest to (bezpłatnie dostępna online) książka Davida Mackaya:

Http://www.inference.phy.cam.ac.uk/mackay/itila/

Te metody wnioskowania są o wiele bardziej ogólne niż tylko Text mining i nie mogę naprawdę wymyślić, jak można nauczyć się, jak zastosować to do NLP bez uczenia się niektórych ogólnych podstaw zawartych w tej książce lub innych książkach wprowadzających na maszynie Nauka i MaxEnt metody bayesowskie.

Związek między entropią a teorią prawdopodobieństwa z przetwarzaniem i przechowywaniem informacji jest naprawdę, naprawdę głęboki. Aby dać temu posmak, istnieje twierdzenie Shannona, które mówi, że maksymalna ilość informacji, którą można przekazać bez błędu przez hałaśliwy kanał komunikacyjny, jest równa entropii procesu szumu. Istnieje również twierdzenie, które łączy, ile można skompresować kawałek danych, aby zająć minimum możliwe pamięci w komputerze do entropii procesu, który wygenerował dane.

Myślę, że nie jest to naprawdę konieczne, abyś uczył się tych wszystkich twierdzeń z teorii komunikacji, ale nie jest możliwe, aby nauczyć się tego bez poznania podstaw o tym, czym jest Entropia, jak jest obliczana, jaki jest jej związek z informacją i wnioskowaniem itp...

Kiedy implementowałem algorytm do obliczania entropii obrazu, znalazłem te linki, patrz Tutaj i tutaj .

To jest pseudo-kod, którego użyłem, będziesz musiał dostosować go do pracy z tekstem, a nie obrazkami, ale zasady powinny być takie same.

//Loop over image array elements and count occurrences of each possible
//pixel to pixel difference value. Store these values in prob_array
for j = 0, ysize-1 do $
    for i = 0, xsize-2 do begin
       diff = array(i+1,j) - array(i,j)
       if diff lt (array_size+1)/2 and diff gt -(array_size+1)/2 then begin
            prob_array(diff+(array_size-1)/2) = prob_array(diff+(array_size-1)/2) + 1
       endif
     endfor

//Convert values in prob_array to probabilities and compute entropy
n = total(prob_array)

entrop = 0
for i = 0, array_size-1 do begin
    prob_array(i) = prob_array(i)/n

    //Base 2 log of x is Ln(x)/Ln(2). Take Ln of array element
    //here and divide final sum by Ln(2)
    if prob_array(i) ne 0 then begin
        entrop = entrop - prob_array(i)*alog(prob_array(i))
    endif
endfor

entrop = entrop/alog(2)

Nieformalnie

Entropia to dostępność informacji lub wiedzy, brak informacji prowadzi do trudności w przewidywaniu przyszłości, która jest wysoka Entropia (next word prediction in text mining), a dostępność informacji / wiedzy pomoże nam bardziej realistyczne przewidywanie przyszłości (low entropy).

Istotne informacje dowolnego typu zmniejszą entropię i pomogą nam przewidzieć bardziej realistyczną przyszłość, że Informacje mogą być słowo "mięso" jest obecne w zdanie lub słowo "mięso" nie występuje. To się nazywa Information Gain

Formalnie

Entropia jest brakiem kolejności przewidywalności

Jak czytasz ksiazke o NLTK to byloby ciekawie przeczytac O Module Maxent Classifier http://www.nltk.org/api/nltk.classify.html#module-nltk.classify.maxent

Klasyfikacja górnictwa tekstowego może obejmować: wstępne przetwarzanie (tokenizacja, parowanie, wybór funkcji z uzyskaniem informacji ...), transformacja na numeryczną (frequency lub TF-IDF) (myślę, że jest to kluczowy krok do zrozumienia przy użyciu tekstu jako wejścia do algorytmu, który akceptuje tylko numeryczne), a następnie klasyfikować za pomocą MaxEnt, na pewno jest to tylko przykład.