lme4:: raport lmer "fixed-effect model matrix is rank deficient", Czy potrzebuję poprawki i jak to zrobić?

Jesteś nieco zaniepokojony komunikatem ostrzegawczym:

Fixed-effect model macierz jest rank deficient więc spada 7 kolumn / współczynniki.

Podczas wykonywania lmer, twoja formuła modelu jest podzielona na stały efekt wzór i efekt losowy wzór , a dla każdego skonstruowana jest macierz modelu. Konstrukcja dla stałej jest za pomocą standardowego konstruktora macierzy modelu model.matrix; konstrukcja dla losowej jest skomplikowana, ale nie ma związku z twoim pytaniem, więc po prostu go pomijam.

Dla Twojego modelu możesz sprawdzić, jak wygląda matryca modelu o stałym efekcie:

fix.formula <- F2_difference ~ sex + nasal + type + vowelLabel + 
               type * vowelLabel + nasal * type

X <- model.matrix (fix.formula, data.df)

Wszystkie Twoje zmienne są współczynnikiem, więc X będą binarne. Choć model.matrix stosuje contrasts dla każdy czynnik i jego interakcja, jest nadal możliwe, że X nie kończy się pełnym rankiem kolumny, ponieważ kolumna może być kombinacją liniową niektórych innych (, która może być dokładna lub liczbowo bliska). W Twoim przypadku, niektóre poziomy jednego czynnika mogą być zagnieżdżone w niektórych poziomach innego .

Niedobór rangi może pojawić się na wiele różnych sposobów. druga odpowiedź dzieli krzyżową odpowiedź oferując istotne dyskusje, na których będę skomentuj.

• Dla Przypadku 1, ludzie mogą rzeczywiście zrobić model wyboru funkcji za pomocą powiedzmy, LASSO.
• przypadki 2 i 3 są związane z procesem gromadzenia danych. Dobry projekt eksperymentu jest najlepszym sposobem na zapobieganie niedoborowi rangi, ale dla wielu osób, które budują modele, dane są już tam i żadna poprawa (jak uzyskanie większej ilości danych) nie jest możliwa. Chciałbym jednak podkreślić, że nawet w przypadku zbioru danych bez niedoboru rangi, nadal możemy uzyskać ten problem, jeśli nie używaj go ostrożnie. Na przykład Walidacja krzyżowa jest dobrą metodą porównywania modeli. Aby to zrobić, musimy podzielić kompletny zestaw danych na treningowy i testowy, ale bez opieki możemy uzyskać model z niedoborem rangi z zestawu danych treningowych.
• przypadek 4 to duży problem, który może być całkowicie poza naszą kontrolą. Być może naturalnym wyborem jest zmniejszenie złożoności modelu, ale alternatywą jest próba ukaranej regresji.
• przypadek 5 jest zagadnieniem liczbowym prowadzącym do szereg numeryczny-niedobór i to {[62] } jest dobrym przykładem.
• przypadki 6 i 7 mówią o tym, że obliczenia numeryczne są wykonywane w skończonej precyzji. Zazwyczaj nie będzie to problemem, jeśli sprawa 5 zostanie rozpatrzona prawidłowo.

Tak więc, czasami możemy obejść niedobór, ale nie zawsze jest to możliwe do osiągnięcia. Tak więc każdy dobrze napisany model dopasowania, jak lm, glm, mgcv::gam, zastosuje rozkład QR dla X, aby używać tylko jego podprzestrzeni pełnowartościowej, tj. maksymalny podzbiór X kolumn, który daje przestrzeń pełnowartościową, dla estymacji, ustalanie współczynników związanych z resztą kolumn na 0 lub NA. To Ostrzeżenie sugeruje to. Istnieją pierwotnie ncol(X) współczynniki do oszacowania, ale z powodu niedoboru, tylko ncol(X) - 7 będą oszacowane, a reszta wynosi 0 lub NA. Takie numeryczne obejście zapewnia, że rozwiązanie o najmniejszych kwadratach można uzyskać w najbardziej stabilny sposób.

Aby lepiej możesz użyć lm, aby dopasować model liniowy z fix.formula.

fix.fit <- lm(fix.formula, data.df, method = "qr", singular.ok = TRUE)

method = "qr" i {[23] } są domyślne, więc nie musimy ich ustawiać. Ale jeśli określimy singular.ok = FALSE, lm zatrzyma się i narzeka na brak rangi.

lm(fix.formula, data.df, method = "qr", singular.ok = FALSE)
#Error in lm.fit(x, y, offset = offset, singular.ok = singular.ok, ...) : 
#  singular fit encountered

Możesz następnie sprawdzić zwrócone wartości w fix.fit.

p <- length(coef)
coef <- fix.fit$coef
no.NA <- sum(is.na(coef))
rank <- fix.fit$rank

Jest gwarantowane, że p = ncol(X), ale powinieneś zobaczyć no.NA = 7 i rank + no.NA = p.

Dokładnie to samo dzieje się wewnątrz lmer. lm nie zgłosi braków podczas Tak. Jest to w rzeczywistości pouczające, ponieważ zbyt często widzę ludzi pytających dlaczego lm zwraca NA dla niektórych współczynników.

Aktualizacja 1 (2016-05-07):

Zobaczmy, czy mam to prawo: krótka wersja jest taka, że jedna z moich zmiennych predykcyjnych jest skorelowana z inną, ale nie powinienem się tym martwić. Właściwe jest stosowanie czynników, prawda? I nadal mogę porównywać modele z anova lub patrząc na BIC?

Nie martw się o zastosowaniu summary lub anova. Metody są napisane w taki sposób, że poprawna liczba parametrów (stopień swobody) zostanie użyta do wytworzenia poprawnych statystyk sumarycznych.

Aktualizacja 2 (2016-11-06):

Posłuchajmy również, jaki autor pakietu lme4 powiedziałby: ostrzeżenie o niedoborze rangi mixed model lmer . Ben Bolker wspomniał też o caret::findLinearCombos, szczególnie dlatego, że tamtejszy OP chce rozwiązać problem niedoborów.

Aktualizacja 3 (2018-07-27):

Niedobór rangi nie jest problemem dla poprawnego oszacowania i porównania modelu, ale może być zagrożeniem w przewidywaniu. Niedawno napisałem szczegółową odpowiedź z symulowanymi przykładami na Crossvalided: R lm, Czy ktoś mógłby mi podać przykład mylącego przypadku na "przewidywanie z niedoboru rangi"?więc, tak, w teorii powinniśmy unikać szacowania braku Rang. Ale w rzeczywistości nie ma tak zwanego "prawdziwego modelu": staramy się uczyć to z danych. Nigdy nie możemy porównać modelu szacowanego do "prawdy"; najlepszym rozwiązaniem jest wybór najlepszego z wielu modeli, które zbudowaliśmy. Jeśli więc "najlepszy" model skończy się brakiem rangi, możemy być sceptyczni co do tego, ale prawdopodobnie nic nie możemy zrobić od razu.