Wydajny odczyt pliku XML 800 GB w Pythonie 2.7

Standard open() function już domyślnie zwraca buforowany plik (jeśli jest dostępny na twojej platformie). Dla obiektów plików, które są zazwyczaj w pełni buforowane.

zazwyczaj tutaj oznacza, że Python pozostawia to implementacji C stdlib; używa fopen() call (wfopen() W Windows do obsługi nazw plików UTF-16), co oznacza, że domyślne buforowanie pliku jest wybierane; w Linuksie sądzę, że byłoby to 8kB. Do operacji czysto odczytywanych, takich jak Analizowanie XML tego typu buforowanie jest dokładnie tym, czego chcesz.

Analiza XML wykonana przez iterparse odczytuje plik w kawałkach po 16384 bajtów (16kb).

Jeśli chcesz kontrolować buffersize, użyj argumentu słowa kluczowego buffering:

open('foo.xml', buffering=(2<<16) + 8)  # buffer enough for 8 full parser reads

, który nadpisze domyślny rozmiar bufora(którego spodziewałbym się dopasować do rozmiaru bloku pliku lub jego wielokrotności). Zgodnie z ten artykuł zwiększenie bufora odczytu powinno pomóc, a użycie rozmiaru co najmniej 4 razy oczekiwany rozmiar bloku odczytu plus 8 bajtów poprawi wydajność odczytu. W powyższym przykładzie ustawiłem go na 8 razy Rozmiar odczytu ElementTree.

The io.open() function reprezentuje nową strukturę obiektów we/wy Pythona 3, gdzie we / wy zostały podzielone na nową hierarchię typów klas, aby zapewnić Ci większą elastyczność. Cena jest bardziej indirection, więcej warstw dla danych, aby przejść przez, a kod Python C robi więcej pracy sam zamiast zostawić to do OS.

Ty mógłbyś spróbować i sprawdzić, czy io.open('foo.xml', 'rb', buffering=2<<16) będzie lepiej. Otwarcie w trybie rb da ci io.BufferedReader instancja .

Robisz a nie chcesz używać io.TextIOWrapper; bazowy Parser expat chce surowych danych, ponieważ sam dekoduje kodowanie pliku XML. To tylko dodać dodatkowe koszty; otrzymasz ten typ, jeśli otworzysz w r (textmode) zamiast.

Korzystanie z io.open() może dać ci większą elastyczność i bogatsze API, ale bazowy obiekt pliku C jest otwierany za pomocą open() zamiast fopen(), a całe buforowanie jest obsługiwane przez implementację Pythona io.BufferedIOBase.

Twoim problemem będzie przetwarzanie tej bestii, Nie plik czyta, myślę. Pamięć podręczna dysku i tak zostanie prawie zastrzelona podczas czytania pliku 800GB.