Pracuję z wieloma plikami o stałej szerokości (tzn. bez znaków oddzielających), które muszę wczytać do R. tak więc, zwykle istnieje definicja szerokości kolumny do przetwarzania łańcucha znaków do zmiennych. Mogę użyć read.fwf do odczytu danych bez problemu. Jednak w przypadku dużych plików może to potrwać długo. W przypadku ostatniego zbioru danych odczyt w zbiorze danych z ~500 000 wierszy i 143 zmiennymi zajął 800 sekund.

seer9 <- read.fwf("~/data/rawdata.txt", 
  widths = cols,
  header = FALSE,
  buffersize = 250000,
  colClasses = "character",
  stringsAsFactors = FALSE))

fread W data.table paczce w R jest super dla rozwiązuje większość problemów z odczytem danych, z wyjątkiem tego, że nie parsuje plików o stałej szerokości. Mogę jednak odczytać każdą linię jako pojedynczy ciąg znaków (~500 000 wierszy, 1 kolumna). To trwa 3-5 sekund. (Kocham dane.stolik.)

seer9 <- fread("~/data/rawdata.txt", colClasses = "character",
               sep = "\n", header = FALSE, verbose = TRUE)

Jest wiele dobrych postów na temat tego, jak analizować pliki tekstowe. Zobacz sugestię Jhowarda tutaj , aby utworzyć macierz kolumn początkowych i końcowych oraz substr, aby przeanalizować dane. Zobacz sugestię GSee tutaj {[28] } aby użyć strsplit. Nie mogłem tego rozgryźć. jak to zrobić z tymi danymi. (Również Michael Smith przedstawił pewne sugestie dotyczące danych.lista dyskusyjna dotycząca sed, które nie były w stanie zaimplementować .) teraz, używając fread i substr() mogę zrobić całość w około 25-30 sekund. Zauważ, że wymuszanie na danych.tabela na końcu zajmuje kawałek czasu (5 sek?).

end_col <- cumsum(cols)
start_col <- end_col - cols + 1
start_end <- cbind(start_col, end_col) # matrix of start and end positions
text <- lapply(seer9, function(x) {
        apply(start_end, 1, function(y) substr(x, y[1], y[2])) 
        })
dt <- data.table(text$V1)
setnames(dt, old = 1:ncol(dt), new = seervars)

Zastanawiam się, czy można to jeszcze poprawić? Wiem, że nie tylko ja muszę czytać pliki o stałej szerokości, więc jeśli to mogłoby to być szybsze, sprawiłoby, że ładowanie jeszcze większych plików (z milionami wierszy) byłoby bardziej znośne. Próbowałem używać parallel z mclapplyi data.table zamiast lapply, ale to nic nie zmieniło. (Prawdopodobnie ze względu na mój brak doświadczenia w R.) wyobrażam sobie, że funkcja Rcpp może być napisana, aby zrobić to naprawdę szybko, ale to jest poza moim zestawem umiejętności. Ponadto, mogę nie używać lapply i zastosować odpowiednio.

text <- seer9[ , apply(start_end, 1, function(y) substr(V1, y[1], y[2]))] %>% 
  data.table(.)

Czy ktoś może zasugerować, aby poprawić szybkość tego? A może tak będzie najlepiej?

Oto kod do tworzenia podobnych danych.tabela w R (zamiast linkowania do rzeczywistych danych). Powinien mieć 331 znaków i 500 000 wierszy. Istnieją spacje do symulacji brakujących pól w danych, ale są to , a nie dane rozdzielane spacjami. (Czytam surowe dane jasnowidza, na wypadek gdyby ktoś był zainteresowany.) W tym również szerokości kolumn (cols) i nazwy zmiennych na wypadek, gdyby to pomogło komuś innemu. Są to rzeczywiste definicje kolumn i zmiennych dla danych SEER.

seer9 <-
  data.table(rep((paste0(paste0(letters, 1000:1054, " ", collapse = ""), " ")),
                 500000))

cols = c(8,10,1,2,1,1,1,3,4,3,2,2,4,4,1,4,1,4,1,1,1,1,3,2,2,1,2,2,13,2,4,1,1,1,1,3,3,3,2,3,3,3,3,3,3,3,2,2,2,2,1,1,1,1,1,6,6,6,2,1,1,2,1,1,1,1,1,2,2,1,1,2,1,1,1,1,1,1,1,1,1,1,1,1,1,1,7,5,4,10,3,3,2,2,2,3,1,1,1,1,2,2,1,1,2,1,9,5,5,1,1,1,2,2,1,1,1,1,1,1,1,1,2,3,3,3,3,3,3,1,4,1,4,1,1,3,3,3,3,2,2,2,2)
seervars <- c("CASENUM", "REG", "MAR_STAT", "RACE", "ORIGIN", "NHIA", "SEX", "AGE_DX", "YR_BRTH", "PLC_BRTH", "SEQ_NUM", "DATE_mo", "DATE_yr", "SITEO2V", "LATERAL", "HISTO2V", "BEHO2V", "HISTO3V", "BEHO3V", "GRADE", "DX_CONF", "REPT_SRC", "EOD10_SZ", "EOD10_EX", "EOD10_PE", "EOD10_ND", "EOD10_PN", "EOD10_NE", "EOD13", "EOD2", "EOD4", "EODCODE", "TUMOR_1V", "TUMOR_2V", "TUMOR_3V", "CS_SIZE", "CS_EXT", "CS_NODE", "CS_METS", "CS_SSF1", "CS_SSF2", "CS_SSF3", "CS_SSF4", "CS_SSF5", "CS_SSF6", "CS_SSF25", "D_AJCC_T", "D_AJCC_N", "D_AJCC_M", "D_AJCC_S", "D_SSG77", "D_SSG00", "D_AJCC_F", "D_SSG77F", "D_SSG00F", "CSV_ORG", "CSV_DER", "CSV_CUR", "SURGPRIM", "SCOPE", "SURGOTH", "SURGNODE", "RECONST", "NO_SURG", "RADIATN", "RAD_BRN", "RAD_SURG", "SS_SURG", "SRPRIM02", "SCOPE02", "SRGOTH02", "REC_NO", "O_SITAGE", "O_SEQCON", "O_SEQLAT", "O_SURCON", "O_SITTYP", "H_BENIGN", "O_RPTSRC", "O_DFSITE", "O_LEUKDX", "O_SITBEH", "O_EODDT", "O_SITEOD", "O_SITMOR", "TYPEFUP", "AGE_REC", "SITERWHO", "ICDOTO9V", "ICDOT10V", "ICCC3WHO", "ICCC3XWHO", "BEHANAL", "HISTREC", "BRAINREC", "CS0204SCHEMA", "RAC_RECA", "RAC_RECY", "NHIAREC", "HST_STGA", "AJCC_STG", "AJ_3SEER", "SSG77", "SSG2000", "NUMPRIMS", "FIRSTPRM", "STCOUNTY", "ICD_5DIG", "CODKM", "STAT_REC", "IHS", "HIST_SSG_2000", "AYA_RECODE", "LYMPHOMA_RECODE", "DTH_CLASS", "O_DTH_CLASS", "EXTEVAL", "NODEEVAL", "METSEVAL", "INTPRIM", "ERSTATUS", "PRSTATUS", "CSSCHEMA", "CS_SSF8", "CS_SSF10", "CS_SSF11", "CS_SSF13", "CS_SSF15", "CS_SSF16", "VASINV", "SRV_TIME_MON", "SRV_TIME_MON_FLAG", "SRV_TIME_MON_PA", "SRV_TIME_MON_FLAG_PA", "INSREC_PUB", "DAJCC7T", "DAJCC7N", "DAJCC7M", "DAJCC7STG", "ADJTM_6VALUE", "ADJNM_6VALUE", "ADJM_6VALUE", "ADJAJCCSTG")

Aktualizacja: LaF zrobił cały odczyt w niecałe 7 sekund od raw .plik txt. Może jest jeszcze szybszy sposób, ale wątpię, żeby cokolwiek mogło zrobić znacznie lepiej. Niesamowity pakiet.

27 Lipiec 2015 Aktualizacja Chciałem tylko zapewnić małą aktualizację tego. Użyłem nowego pakietu readr i udało mi się odczytać cały plik w 5 seconds using readr:: read_fwf.

seer9_readr <- read_fwf("path_to_data/COLRECT.TXT",
  col_positions = fwf_widths(cols))

Zaktualizowana funkcja stringi:: stri_sub jest co najmniej dwa razy szybsza od base::substr(). Tak więc, w powyższym kodzie, który używa fread do odczytu pliku (około 4 sekund), a następnie apply do parsowania każdej linii, ekstrakcja 143 zmiennych zajęła około 8 sekund z stringi:: stri_sub w porównaniu do 19 dla base::substr. Więc fread plus stri_sub jest jeszcze tylko około 12 sekund do uruchomienia. Nieźle.

seer9 <-  fread("path_to_data/COLRECT.TXT",     
  colClasses = "character", 
  sep = "\n", 
  header = FALSE)
text <- seer9[ , apply(start_end, 1, function(y) substr(V1, y[1], y[2]))] %>% 
  data.table(.)

10 gru 2015 Aktualizacja:

Proszę Zobacz również odpowiedź poniżej autorstwa @ MichaelChirico, który dodał kilka świetnych benchmarków i pakiet iotools.