Losowy las z klasami, które są bardzo niezrównoważone

Jest kilka opcji.

Jeśli masz dużo danych, odłóż losową próbkę danych. Zbuduj swój model na jednym zestawie, a następnie użyj drugiego do określenia właściwego odcięcia dla prawdopodobieństwa klasy za pomocą krzywej ROC.

Można również upsamplować dane w klasie mniejszości. Algorytm SMOTE może pomóc(Zobacz odniesienie poniżej i pakiet DMwR dla funkcji).

Możesz również użyć innych technik. rpart() i kilka innych funkcji pozwala na różne koszty o błędach, żebyś mógł bardziej faworyzować klasę mniejszościową. Możesz zapakować ten typ modelu rpart() w celu przybliżenia tego, co robi losowy Las.

ksvm() w pakiecie kernlab można również użyć niezrównoważonych kosztów (ale szacunki prawdopodobieństwa nie są już dobre, gdy to robisz). Wiele innych pakietów posiada argumenty pozwalające na ustawienie priorów. Możesz również dostosować to, aby położyć większy nacisk na klasę mniejszościową.

Przepraszam, Nie wiem jak dodać komentarz do wcześniejszej odpowiedzi, więc stworzę osobną odpowiedź.

Przypuszczam, że problem jest spowodowany dużą nierównowagą zbioru danych (zbyt mało przypadków jednej z klas jest obecnych). Dla każdego drzewa w RF algorytm tworzy próbkę bootstrap, która jest zestawem treningowym dla tego drzewa. A jeśli masz zbyt mało przykładów jednej z klas w zbiorze danych, to próbkowanie bootstrap wybierze przykłady tylko jednej klasy (major class). I tak drzewo nie może być uprawiane tylko na jednym przykładzie klasy. Wydaje się, że istnieje limit na 10 nieudanych prób próbkowania. Tak więc propozycja Dwina, aby zmniejszyć stopień nierównowagi do niższych wartości (1:100 lub 1: 10) jest najbardziej rozsądna.

Całkiem pewien, że nie zgadzam się z pomysłem usunięcia obserwacji z próbki.

Zamiast tego możesz rozważyć użycie próbki warstwowej, aby ustawić stały procent każdej klasy za każdym razem, gdy jest ona ponownie próbkowana. Można to zrobić za pomocą pakietu karetki. W ten sposób nie będziesz pomijał obserwacji, zmniejszając rozmiar próbki treningowej. Nie pozwoli Ci to na reprezentowanie swoich klas, ale upewni się, że każda podpróbka ma reprezentatywną próbkę.

Oto przykład, który znalazłem:

len_pos <- nrow(example_dataset[example_dataset$target==1,])
len_neg <- nrow(example_dataset[example_dataset$target==0,])

train_model <- function(training_data, labels, model_type, ...) {
  experiment_control <- trainControl(method="repeatedcv",
                                     number = 10,
                                     repeats = 2,
                                     classProbs = T,
                                     summaryFunction = custom_summary_function)
  train(x = training_data,
        y = labels,
        method = model_type,
        metric = "custom_score",
        trControl = experiment_control,
        verbose = F,
        ...)
}

# strata refers to which feature to do stratified sampling on.
# sampsize refers to the size of the bootstrap samples to be taken from each class. These samples will be taken as input
# for each tree. 

fit_results <- train_model(example_dataset
                           , as.factor(sprintf("c%d", as.numeric(example_dataset$target)))        
                           ,"rf"
                           ,tuneGrid = expand.grid(mtry = c( 3,5,10))
                           ,ntree=500
                           ,strata=as.factor(example_dataset$target)
                           ,sampsize = c('1'=as.integer(len_pos*0.25),'0'=as.integer(len_neg*0.8))
)