Szybka regresja liniowa według grup

Jeśli chcesz tylko współczynników, użyłbym user_id jako czynnika regresji. Korzystanie z symulowanego kodu danych @ miles2know (choć zmiana nazwy od obiektu innego niż exp() dzielącego tę nazwę wygląda dziwnie)

dat <- data.frame(id = rep(c("a","b","c"), each = 20),
                  x = rnorm(60,5,1.5),
                  y = rnorm(60,2,.2))

mod = lm(y ~ x:id + id + 0, data = dat)

Nie pasujemy do globalnego przechwytywania (+ 0) tak, że przechwytywanie dla każdego id jest współczynnikiem id, a nie x samo w sobie, tak, że interakcje x:id są nachyleniem dla każdego id:

coef(mod)
#      ida      idb      idc    x:ida    x:idb    x:idc 
# 1.779686 1.893582 1.946069 0.039625 0.033318 0.000353 

Więc dla a poziomu id współczynnik ida , 1.78, jest przechył i x:ida współczynnik, 0.0396, jest nachylenie.

Zostawię zebranie tych współczynników w odpowiednich kolumnach ramki danych dla Ciebie...

To rozwiązanie powinno być bardzo szybkie, ponieważ nie musisz zajmować się podzbiorami ramek danych. Może być jeszcze bardziej przyspieszony {[13] } lub tym podobne.

Uwaga na skalowalność:

Właśnie wypróbowałem to na symulowanych danych @nrussell i uruchomiłem alokację pamięci problemy. W zależności od ilości posiadanej pamięci może nie działać za jednym zamachem, ale prawdopodobnie można to zrobić w partiach identyfikatorów użytkowników. Jakaś kombinacja jego odpowiedzi i mojej odpowiedzi może być najszybsza ogólnie - - - lub nrussell może być po prostu szybsza - - - rozszerzenie współczynnika ID użytkownika na tysiące fałszywych zmiennych może nie być wydajne obliczeniowo, jak czekałem więcej niż kilka minut teraz na uruchomienie na zaledwie 5000 identyfikatorów użytkowników.

Aktualizacja: Jak zauważył Dirk, moje oryginalne podejście może zostać znacznie ulepszone poprzez bezpośrednie określenie x i Y, zamiast używać interfejsu fastLm opartego na formułach, który wiąże się (dość znaczący) z kosztami przetwarzania. Dla porównania, używając oryginalnego pełnego zestawu danych,

R> system.time({
  dt[,c("lm_b0", "lm_b1") := as.list(
    unname(fastLm(x, Y)$coefficients))
    ,by = "user_id"]
})
#  user  system elapsed 
#55.364   0.014  55.401 
##
R> system.time({
  dt[,c("lm_b0","lm_b1") := as.list(
    unname(fastLm(Y ~ x, data=.SD)$coefficients))
    ,by = "user_id"]
})
#   user  system elapsed 
#356.604   0.047 356.820

Ta prosta zmiana daje mniej więcej6,5 x speedup .

[oryginalne podejście]

Prawdopodobnie jest miejsce na poprawę, ale procesor 2,6 GHz z procesorem 64-bitowym R zajął około 25 minut na Linuksowej maszynie wirtualnej (procesor 2,6 GHz).]}

library(data.table)
library(RcppArmadillo)
##
dt[
  ,c("lm_b0","lm_b1") := as.list(
    unname(fastLm(Y ~ x, data=.SD)$coefficients)),
  by=user_id]
##
R> dt[c(1:2, 31:32, 61:62),]
   user_id   x         Y     lm_b0    lm_b1
1:       1 1.0 1674.8316 -202.0066 744.6252
2:       1 1.5  369.8608 -202.0066 744.6252
3:       2 1.0  463.7460 -144.2961 374.1995
4:       2 1.5  412.7422 -144.2961 374.1995
5:       3 1.0  513.0996  217.6442 261.0022
6:       3 1.5 1140.2766  217.6442 261.0022

Data:

dt <- data.table(
  user_id = rep(1:500000,each=30))
##
dt[, x := seq(1, by=.5, length.out=30), by = user_id]
dt[, Y := 1000*runif(1)*x, by = user_id]
dt[, Y := Y + rnorm(
  30, 
  mean = sample(c(-.05,0,0.5)*mean(Y),1), 
  sd = mean(Y)*.25), 
  by = user_id]

Możesz spróbować użyć danych.stół jak ten. Właśnie stworzyłem dane o zabawkach, ale wyobrażam sobie DANE.tabela dałaby pewną poprawę. Jest dość szybki. Ale jest to dość duży zestaw danych, więc być może porównaj to podejście do mniejszej próbki, aby sprawdzić, czy prędkość jest o wiele lepsza. powodzenia.

    library(data.table)

    exp <- data.table(id = rep(c("a","b","c"), each = 20), x = rnorm(60,5,1.5), y = rnorm(60,2,.2))
    # edit: it might also help to set a key on id with such a large data-set
    # with the toy example it would make no diff of course
    exp <- setkey(exp,id)
    # the nuts and bolts of the data.table part of the answer
    result <- exp[, as.list(coef(lm(y ~ x))), by=id]
    result
       id (Intercept)            x
    1:  a    2.013548 -0.008175644
    2:  b    2.084167 -0.010023549
    3:  c    1.907410  0.015823088