Rozróżnianie nadmiarowości a dobre przewidywanie

Są to pytania, jak obliczyć i zmniejszyć nadmierne dopasowanie w uczeniu maszynowym. Myślę, że wielu nowych w uczeniu maszynowym będzie miało te same pytania, więc starałem się być jasny z moimi przykładami i pytaniami w nadziei, że odpowiedzi tutaj mogą pomóc innym.

Mam bardzo małą próbkę tekstów i staram się przewidzieć wartości z nimi związane. Użyłem sklearn do obliczenia TF-idf i wstawiłem je do modelu regresji do przewidywania. Daje mi to 26 próbek z 6323 funkcjami - niewiele.. Wiem:

>> count_vectorizer = CountVectorizer(min_n=1, max_n=1)
>> term_freq = count_vectorizer.fit_transform(texts)
>> transformer = TfidfTransformer()
>> X = transformer.fit_transform(term_freq) 
>> print X.shape

(26, 6323)

Umieszczenie tych 26 próbek 6323 cech (X) i związanych z nimi wyników (y), w modelu LinearRegression, daje dobre prognozy. Są one uzyskiwane za pomocą walidacji krzyżowej leave-one-out, z cross_validation.LeaveOneOut(X.shape[0], indices=True):

using ngrams (n=1):
     human  machine  points-off  %error
      8.67    8.27    0.40       1.98
      8.00    7.33    0.67       3.34
      ...     ...     ...        ...
      5.00    6.61    1.61       8.06
      9.00    7.50    1.50       7.50
mean: 7.59    7.64    1.29       6.47
std : 1.94    0.56    1.38       6.91

using ngrams (n=300):
      human  machine  points-off  %error
       8.67    7.55    1.12       5.60
       8.00    7.57    0.43       2.13
       ...     ...     ...        ...
mean:  7.59    7.59    1.52       7.59
std :  1.94    0.08    1.32       6.61

pytanie 1: może to oznaczać, że model predykcyjny jest overforting danych. Wiem to tylko dlatego, że wybrałem ekstremalną wartość dla ngramów (n=300), które Wiem, że nie mogą przynieść dobrych wyników. Ale gdybym nie miał tej wiedzy, jak normalnie powiedziałbyś, że model jest zbyt dopasowany? Innymi słowy, jeśli zastosowano rozsądną miarę (n=1), Skąd wiesz, że dobra prognoza była wynikiem nadmiernego dopasowania w porównaniu z Modelem, który dopiero działa więc?

Pytanie 2: jaki jest najlepszy sposób zapobiegania nadmiernemu dopasowaniu (w tej sytuacji), aby mieć pewność, że wyniki prognoz są dobre, czy nie?

pytanie 3: jeśli używana jest Walidacja krzyżowa, w jaki sposób model może być nadmiernie dopasowany z dobrymi wynikami? Nadmierne dopasowanie oznacza, że ucierpi na tym dokładność przewidywania - dlaczego więc nie ucierpi na tym przewidywanie tekstu, który zostanie pominięty? Jedyny powód, dla którego mogę myśleć: w TF-idf sparse macierz głównie 0s, istnieje silne nakładanie się tekstów, ponieważ tak wiele terminów jest 0s-regresja uważa, że teksty silnie korelują.