Czy jest jakiś wbudowany sposób, aby uzyskać długość iterowalnego w Pythonie?

Jeśli potrzebujesz liczby linijek, możesz to zrobić, nie znam lepszego sposobu na to:

line_count = sum(1 for line in open("yourfile.txt"))

Używam tej redefinicji już od jakiegoś czasu:

def len(thingy):
    try:
        return thingy.__len__()
    except AttributeError:
        return sum(1 for item in iter(thingy))

Absolutnie nie, z tego prostego powodu, że iteraby nie są gwarantowane, aby być skończone.

Rozważmy tę całkowicie legalną funkcję generatora:

def forever():
    while True:
        yield "I will run forever"

Próba obliczenia długości tej funkcji za pomocą len([x for x in forever()]) nie zadziała.

Jak zauważyłeś, głównym celem iteratorów / generatorów jest możliwość pracy na dużym zbiorze danych bez ładowania go do pamięci. Fakt, że nie można uzyskać natychmiastowej długości należy uznać za kompromis.

Pakiet cardinality zapewnia wydajną funkcję count() oraz kilka powiązanych funkcji do liczenia i sprawdzania wielkości dowolnej iteracyjnej: http://cardinality.readthedocs.org/

import cardinality

it = some_iterable(...)
print(cardinality.count(it))

Wewnętrznie używa enumerate() i collections.deque() do przeniesienia całej rzeczywistej logiki pętli i liczenia na poziom C, co powoduje znaczne przyspieszenie pętli for w Pythonie.

Okazuje się, że istnieje zaimplementowane rozwiązanie tego wspólnego problemu. Rozważ użycie funkcji ilen() z more_itertools.

more_itertools.ilen(iterable)

Przykład wydrukowania kilku linii w pliku (używamy instrukcji with, aby bezpiecznie obsłużyć zamykanie plików):

# Example
import more_itertools

with open("foo.py", "r+") as f:
    print(more_itertools.ilen(f))

# Output: 433

Ten przykład zwraca taki sam wynik jak rozwiązania przedstawione wcześniej dla sumowania linii w pliku:

# Equivalent code
with open("foo.py", "r+") as f:
    print(sum(1 for line in f))

# Output: 433

Jeśli się nad tym zastanowisz, jak zaproponujesz znalezienie liczby linii w pliku bez czytania całego pliku dla nowych linii? Oczywiście, możesz znaleźć Rozmiar Pliku, a jeśli możesz zagwarantować, że długość linii wynosi x, możesz uzyskać liczbę linii w pliku. Ale jeśli nie masz jakiegoś ograniczenia, nie widzę, jak to może działać. Ponadto, ponieważ iteraby mogą być nieskończenie długie...

Do filtrowania można użyć tej odmiany:

sum(is_good(item) for item in iterable)

, które można oczywiście odczytać jako "count good items" I jest krótsze i prostsze (choć być może mniej idiomatyczne) niż:

sum(1 for item in iterable if is_good(item)))

Uwaga: fakt, że True ocenia do 1 w kontekstach liczbowych jest określony w dokumentach ( https://docs.python.org/3.6/library/stdtypes.html#boolean-values ), więc ten przymus nie jest hack (w przeciwieństwie do niektórych innych języków, takich jak C / C++).

Zrobiłem test pomiędzy dwoma wspólnymi procedurami w moim kodzie, który sprawdza, ile jest wykresów na N wierzchołkach, aby zobaczyć, która metoda zliczania elementów Wygenerowanej listy idzie szybciej. Sage posiada generator grafów (N), który generuje wszystkie wykresy na n wierzchołkach. Stworzyłem dwie funkcje, które uzyskują długość listy uzyskanej przez iteratora na dwa różne sposoby i zmierzyły każdą z nich (średnio ponad 100 uruchomień testowych) za pomocą czasu.funkcja time (). Funkcje były następujące "follows": {]}

def test_code_list(n):
    l = graphs(n)
    return len(list(l))

I

def test_code_sum(n):
    S = sum(1 for _ in graphs(n))
    return S

Teraz czas każdej metody

import time

t0 = time.time()
for i in range(100):
    test_code_list(5)
t1 = time.time()

avg_time = (t1-t0)/10

print 'average list method time = %s' % avg_time


t0 = time.time()
for i in range(100):
    test_code_sum(5)
t1 = time.time()

avg_time = (t1-t0)/100

print "average sum method time = %s" % avg_time

Average list method time = 0.0391882109642

Średni czas metody sum = 0.0418473792076

Obliczając w ten sposób liczbę wykresów na n = 5 wierzchołkach, metoda list jest nieco szybsza (chociaż 100 przebiegów testowych nie jest zbyt dużą wielkością próbki). Ale kiedy zwiększyłem długość wyliczanej listy, próbując wykresów na n = 7 wierzchołkach(tj. zmieniając wykresy(5) na wykresy (7)), wynik był to:

Średni czas metody listy = 4.14753051996

Średni czas metody sum = 3.96504004002