nltk NaiveBayesClassifier training for sentiment analysis

@275365 's tutorial on the data structure for nltk' s bayesian classifier is great. Z bardziej wysokiego poziomu możemy spojrzeć na to jako,

Mamy zdania wejściowe z tagami sentencji:

training_data = [('I love this sandwich.', 'pos'),
('This is an amazing place!', 'pos'),
('I feel very good about these beers.', 'pos'),
('This is my best work.', 'pos'),
("What an awesome view", 'pos'),
('I do not like this restaurant', 'neg'),
('I am tired of this stuff.', 'neg'),
("I can't deal with this", 'neg'),
('He is my sworn enemy!', 'neg'),
('My boss is horrible.', 'neg')]

Rozważmy nasze zestawy funkcji jako indywidualne słowa, Więc wyodrębnimy listę wszystkich możliwych słów z danych treningowych (nazwijmy to słownictwem) jako takie:

from nltk.tokenize import word_tokenize
from itertools import chain
vocabulary = set(chain(*[word_tokenize(i[0].lower()) for i in training_data]))

Zasadniczo, vocabulary tutaj jest to samo @275365 ' s all_word

>>> all_words = set(word.lower() for passage in training_data for word in word_tokenize(passage[0]))
>>> vocabulary = set(chain(*[word_tokenize(i[0].lower()) for i in training_data]))
>>> print vocabulary == all_words
True

Z każdego punktu danych, (tj. każde zdanie i znacznik pos / neg), chcemy powiedzieć, czy dana cecha (tj. słowo ze słownika) istnieje, czy nie.

>>> sentence = word_tokenize('I love this sandwich.'.lower())
>>> print {i:True for i in vocabulary if i in sentence}
{'this': True, 'i': True, 'sandwich': True, 'love': True, '.': True}

Ale chcemy również powiedzieć klasyfikatorowi, które słowo nie istnieje w zdaniu, ale w słowniku, więc dla każdego punktu danych wymieniamy wszystkie możliwe słowa w Słowniku i mówimy, czy słowo istnieje, czy nie: {]}

>>> sentence = word_tokenize('I love this sandwich.'.lower())
>>> x =  {i:True for i in vocabulary if i in sentence}
>>> y =  {i:False for i in vocabulary if i not in sentence}
>>> x.update(y)
>>> print x
{'love': True, 'deal': False, 'tired': False, 'feel': False, 'is': False, 'am': False, 'an': False, 'good': False, 'best': False, '!': False, 'these': False, 'what': False, '.': True, 'amazing': False, 'horrible': False, 'sworn': False, 'ca': False, 'do': False, 'sandwich': True, 'very': False, 'boss': False, 'beers': False, 'not': False, 'with': False, 'he': False, 'enemy': False, 'about': False, 'like': False, 'restaurant': False, 'this': True, 'of': False, 'work': False, "n't": False, 'i': True, 'stuff': False, 'place': False, 'my': False, 'awesome': False, 'view': False}

Ale ponieważ to przenika przez słownictwo dwa razy, jest to bardziej efektywne, aby to zrobić:

>>> sentence = word_tokenize('I love this sandwich.'.lower())
>>> x = {i:(i in sentence) for i in vocabulary}
{'love': True, 'deal': False, 'tired': False, 'feel': False, 'is': False, 'am': False, 'an': False, 'good': False, 'best': False, '!': False, 'these': False, 'what': False, '.': True, 'amazing': False, 'horrible': False, 'sworn': False, 'ca': False, 'do': False, 'sandwich': True, 'very': False, 'boss': False, 'beers': False, 'not': False, 'with': False, 'he': False, 'enemy': False, 'about': False, 'like': False, 'restaurant': False, 'this': True, 'of': False, 'work': False, "n't": False, 'i': True, 'stuff': False, 'place': False, 'my': False, 'awesome': False, 'view': False}

Więc dla każdego zdania, my chcesz powiedzieć klasyfikatorowi dla każdego zdania, które słowo istnieje, a które nie, a także nadać mu znacznik pos / neg. Możemy to nazwać feature_set, jest to krotka złożona z x (Jak pokazano powyżej) i jej znacznika.

>>> feature_set = [({i:(i in word_tokenize(sentence.lower())) for i in vocabulary},tag) for sentence, tag in training_data]
[({'this': True, 'love': True, 'deal': False, 'tired': False, 'feel': False, 'is': False, 'am': False, 'an': False, 'sandwich': True, 'ca': False, 'best': False, '!': False, 'what': False, '.': True, 'amazing': False, 'horrible': False, 'sworn': False, 'awesome': False, 'do': False, 'good': False, 'very': False, 'boss': False, 'beers': False, 'not': False, 'with': False, 'he': False, 'enemy': False, 'about': False, 'like': False, 'restaurant': False, 'these': False, 'of': False, 'work': False, "n't": False, 'i': False, 'stuff': False, 'place': False, 'my': False, 'view': False}, 'pos'), ...]

Następnie przekazujemy te funkcje i tagi w feature_set do klasyfikatora, aby je trenować:

from nltk import NaiveBayesClassifier as nbc
classifier = nbc.train(feature_set)

Teraz masz wyszkolony klasyfikator i gdy chcesz oznaczyć nowe zdanie, musisz "featuryzować" nowe zdanie, aby zobaczyć, które ze słów w nowym zdania są w słowniku, na którym klasyfikator był szkolony:

>>> test_sentence = "This is the best band I've ever heard! foobar"
>>> featurized_test_sentence = {i:(i in word_tokenize(test_sentence.lower())) for i in vocabulary}

Uwaga: Jak widać z powyższego kroku, naiwny klasyfikator Bayesa nie może poradzić sobie ze słownikami, ponieważ token foobar znika po tym, jak go featuryzujesz.

Następnie karmisz featuryzowane zdanie testowe do klasyfikatora i prosisz go o klasyfikację:

>>> classifier.classify(featurized_test_sentence)
'pos'

Miejmy nadzieję, że to daje jaśniejszy obraz tego, jak podawać dane naiwnemu klasyfikatorowi Bayesa nltk dla sentymentalnych analiza. Oto Pełny kod bez komentarzy i walkthrough:

from nltk import NaiveBayesClassifier as nbc
from nltk.tokenize import word_tokenize
from itertools import chain

training_data = [('I love this sandwich.', 'pos'),
('This is an amazing place!', 'pos'),
('I feel very good about these beers.', 'pos'),
('This is my best work.', 'pos'),
("What an awesome view", 'pos'),
('I do not like this restaurant', 'neg'),
('I am tired of this stuff.', 'neg'),
("I can't deal with this", 'neg'),
('He is my sworn enemy!', 'neg'),
('My boss is horrible.', 'neg')]

vocabulary = set(chain(*[word_tokenize(i[0].lower()) for i in training_data]))

feature_set = [({i:(i in word_tokenize(sentence.lower())) for i in vocabulary},tag) for sentence, tag in training_data]

classifier = nbc.train(feature_set)

test_sentence = "This is the best band I've ever heard!"
featurized_test_sentence =  {i:(i in word_tokenize(test_sentence.lower())) for i in vocabulary}

print "test_sent:",test_sentence
print "tag:",classifier.classify(featurized_test_sentence)

Wygląda na to, że próbujesz użyć TextBlob, ale trenujesz nltk NaiveBayesClassifier, który, jak wskazano w innych odpowiedziach, musi zostać przekazany słownik funkcji.

TextBlob ma domyślną funkcję extractor, która wskazuje, które słowa w zestawie treningowym są zawarte w dokumencie (jak pokazano w innych odpowiedziach). Dlatego TextBlob pozwala na przekazywanie danych tak, jak jest.

from textblob.classifiers import NaiveBayesClassifier

train = [('This is an amazing place!', 'pos'),
        ('I feel very good about these beers.', 'pos'),
        ('This is my best work.', 'pos'),
        ("What an awesome view", 'pos'),
        ('I do not like this restaurant', 'neg'),
        ('I am tired of this stuff.', 'neg'),
        ("I can't deal with this", 'neg'),
        ('He is my sworn enemy!', 'neg'),
        ('My boss is horrible.', 'neg') ] 
test = [
        ('The beer was good.', 'pos'),
        ('I do not enjoy my job', 'neg'),
        ("I ain't feeling dandy today.", 'neg'),
        ("I feel amazing!", 'pos'),
        ('Gary is a friend of mine.', 'pos'),
        ("I can't believe I'm doing this.", 'neg') ] 


classifier = NaiveBayesClassifier(train)  # Pass in data as is
# When classifying text, features are extracted automatically
classifier.classify("This is an amazing library!")  # => 'pos'

Oczywiście, prosty domyślny ekstraktor nie jest odpowiedni dla wszystkich problemy. Jeśli chcesz, jak funkcje są wyodrębniane, po prostu napisz funkcję, która pobiera ciąg tekstu jako wejście i wyprowadza słownik funkcji i przekazuje go klasyfikatorowi.

classifier = NaiveBayesClassifier(train, feature_extractor=my_extractor_func)

Zachęcam do zapoznania się z krótkim tutorialem TextBlob classifier tutaj: http://textblob.readthedocs.org/en/latest/classifiers.html