Czy Django się skaluje? [zamknięte]

Przeprowadzamy testy obciążenia. Uważamy, że możemy obsługiwać 240 jednoczesnych żądań (stały wskaźnik 120 trafień na sekundę 24x7) bez znaczącej degradacji wydajności serwera. To będzie 432,000 hits na godzinę. Czasy reakcji nie są małe (nasze transakcje są duże), ale nie ma pogorszenia w stosunku do naszych podstawowych wyników w miarę wzrostu obciążenia.

Używamy Apache front-ending Django i MySQL. System operacyjny to Red Hat Enterprise Linux (RHEL). 64-bitowe. Używamy mod_wsgi w trybie daemon dla Django. Nie zrobiliśmy żadnej optymalizacji pamięci podręcznej ani bazy danych poza zaakceptowaniem domyślnych ustawień.

Wszyscy jesteśmy w jednej maszynie wirtualnej na 64-bitowym Della z (chyba) 32GB RAM.

Ponieważ wydajność jest prawie taka sama dla 20 lub 200 jednoczesnych użytkowników, nie musimy poświęcać ogromnej ilości czasu na "poprawianie". Zamiast tego musimy po prostu utrzymać naszą podstawową wydajność poprzez zwykłe ulepszenia wydajności SSL, zwykłe projektowanie i wdrażanie baz danych (indeksowanie itp.), zwykłe ulepszenia wydajności Firewalla itp.

To, co robimy, to nasze laptopy testowe obciążenia zmagające się z szalonym obciążeniem 15 procesów uruchamiających 16 równoległych wątków żądań.

Nie jestem pewien liczby codziennych odwiedzin, ale oto kilka przykładów dużych witryn Django:

• disqus.com ( rozmowa z djangocon )
• bitbucket.org ( napisz )
• lanyrd.com ( źródło )
• support.mozilla.com ( kod źródłowy )
• addons.mozilla.org ( kod źródłowy) (rozmowa z djangocon )
• theonion.com ( pisz up )
• The guardian.co.uk system komentarzy używa Django (source )
• instagram
• pinterest
• rdio

Oto link do listy stron Django o dużym natężeniu ruchu na Quora .

Jaka jest" największa " strona zbudowana na Django? (I measure size mostly by user traffic)

W USA, Mahalo . Podobno obsługują 10 milionów uników miesięcznie.

Inni znani użytkownicy Django to PBS, National Geographic, Discovery, NASA (właściwie liczba różnych działów w NASA), oraz Biblioteka Kongresu.

Czy Django może obsługiwać 100k użytkowników dziennie, każdego odwiedzającego stronę przez kilka godzin?

Tak -- ale tylko jeśli dobrze napisałeś swoją aplikację i jeśli masz wystarczająco dużo sprzętu. Django nie jest magiczną kulą.

Czy strona taka jak StackOverflow może działać na Django?

Tak (ale patrz wyżej).

Pod względem technologicznym, łatwo: zobacz soclone dla jednej próby. Pod względem ruchu drogowego, konkurować kołki StackOverflow poniżej 1 mln uniques miesięcznie. Mogę wymienić co najmniej tuzin witryn Django z większym natężeniem ruchu.

Gra w adwokata diabła:

Powinieneś sprawdzić Keynote DjangoCon 2008, dostarczoną przez cala Hendersona, zatytułowaną "Why I hate Django", gdzie prawie omawia wszystko, czego brakuje Django, co możesz chcieć zrobić w witrynie o dużym natężeniu ruchu. Pod koniec dnia musisz wziąć to wszystko z otwartym umysłem, ponieważ jest doskonale możliwe, aby pisać aplikacje Django, które się skalują, ale myślałem, że to dobra prezentacja i istotne dla Twojego pytanie.

Skalowanie aplikacji internetowych nie dotyczy frameworków ani języków, lecz Twojej architektury. Chodzi o to, jak radzisz sobie z pamięcią podręczną przeglądarki, pamięcią podręczną bazy danych, jak korzystasz z niestandardowych dostawców trwałości( takich jak CouchDB), Jak dostrojona jest twoja baza danych i wiele innych rzeczy...

Największą stroną django jaką znam jest Washington Post , co z pewnością wskazywałoby, że Może Być dobrze skalowane.

Dobre decyzje projektowe mają prawdopodobnie większy wpływ na wydajność niż cokolwiek innego. Twitter jest często cytowany jako strona, która uosabia problemy z wydajnością z innym dynamicznym językiem interpretowanym opartym na frameworku internetowym, Ruby on Rails - jednak inżynierowie Twittera stwierdzili, że framework nie jest tak dużym problemem, jak niektóre projekty baz danych wcześnie podjęli decyzje.

Django działa bardzo ładnie z memcached i dostarcza kilka klas do zarządzania cache ' em, gdzie rozwiązywałbyś większość problemów z wydajnością. To, co dostarczasz na drucie, jest prawie ważniejsze niż twój backend w rzeczywistości - korzystanie z narzędzia takiego jak yslow ma kluczowe znaczenie dla wysokowydajnej aplikacji internetowej. Zawsze możesz rzucić więcej sprzętu do backendu, ale nie możesz zmienić przepustowości użytkowników.

Byłem w tamtym tygodniu na konferencji EuroDjangoCon i był to temat kilku rozmów-w tym od założycieli największego serwisu opartego na Django, Pownce(slajdy z jednej rozmowy tutaj). Głównym Komunikatem jest to, że to nie Django musisz się martwić, ale takie rzeczy jak prawidłowe buforowanie, równoważenie obciążenia, optymalizacja bazy danych itp.

Django rzeczywiście ma Hooki dla większości z tych rzeczy - buforowanie, w szczególności, jest bardzo proste.

Jestem pewien, że szukasz bardziej solidnej odpowiedzi, ale najbardziej oczywistą, obiektywną walidacją, jaką przychodzi mi do głowy, jest to, że Google wypycha Django do użytku z jego App Engine framework. Jeśli ktoś wie i zajmuje się skalowalnością na bieżąco, to jest to Google. Z tego, co czytałem, najbardziej ograniczającym czynnikiem wydaje się zaplecze bazy danych, dlatego Google używa własnego...

Myślę, że równie dobrze możemy dodać aplikację roku 2011 Apple, Instagram , do listy, która intensywnie używa django.

Dzisiaj używamy wielu aplikacji internetowych i witryn dla naszych potrzeb. Większość z nich jest bardzo przydatna. Pokażę Ci kilka z nich używanych przez Pythona lub django.

Washington Post

NASA

The Guardian

YouTube

DropBox

DropBox rozpoczął rewolucję w przechowywaniu dokumentów online, która stała się częścią codziennego życia. Obecnie przechowujemy prawie wszystko w chmurze. Dropbox pozwala nam przechowywać, synchronizować i udostępniać prawie wszystko, korzystając z mocy Python.

Monkey Survey

Survey Monkey jest największą firmą zajmującą się badaniami online. Mogą obsłużyć ponad milion odpowiedzi każdego dnia na ich przepisanej stronie internetowej Pythona.

Quora

Quora jest numerem jeden Miejsce online, aby zadać pytanie i otrzymywać odpowiedzi od społeczności osób. Na ich stronie internetowej Python członkowie społeczności odpowiadają na odpowiednie wyniki, edytują je i organizują.

Bitly

Większość kod dla Bitly URL skracania usług i analityki są zbudowane z Pythona. Ich serwis może obsłużyć setki milionów wydarzeń dziennie.

Reddit

Hipmunk

Kliknij tutaj, aby uzyskać więcej: 25-z-najpopularniejszych-stron-python-i-django , czym-są-znane-strony-działające-na-Django

Yes it can. Może to być Django z Pythonem lub Ruby on Rails. Nadal będzie się skalować.

Istnieje kilka różnych technik. Po pierwsze, buforowanie nie jest skalowaniem. Możesz mieć kilka serwerów aplikacji zbalansowanych z nginx jako frontem oprócz równoważenia sprzętu. Aby skalować po stronie bazy danych, możesz pójść dość daleko z read slave w MySQL / PostgreSQL, jeśli pójdziesz RDBMS sposób.

Kilka dobrych przykładów stron o dużym natężeniu ruchu w Django może be:

• Pownce kiedy jeszcze tam byli.
• Discus (generic shared comments manager)
Wszystkie strony związane z hasłem 'Washington Post':

Możesz czuć się bezpiecznie.

Jak podano w High Performance Django Book and Go through this Cal Henderson

Zobacz dalsze szczegóły, jak wspomniano poniżej:

Często słyszy się, jak ludzie mówią "Django nie skaluje się" . W zależności od tego, jak na to patrzysz, stwierdzenie jest albo całkowicie prawdziwe, albo ewidentnie fałszywe. Django samo w sobie nie skaluje się.

To samo można powiedzieć o Ruby on Rails, Flask, PHP lub innym języku używanym przez dynamiczne bazy danych strona internetowa.

Dobrą wiadomością jest jednak to, że Django pięknie współgra z pakietem buforowania i narzędzia równoważenia obciążenia, które pozwolą mu skalować do tak dużego ruchu, jak możesz na niego rzucić.

Wbrew temu, co mogłeś przeczytać w Internecie, może to zrobić bez zastępowania podstawowych komponentów często oznaczanych jako "zbyt wolne", takich jak baza danych ORM lub warstwa szablonu.

Disqus obsługuje ponad 8 miliardów odsłon miesięcznie. To ogromna liczba.

Te zespoły mają sprawdzone Django z całą pewnością potrafi skalować. Nasze doświadczenie w Lincoln Loop potwierdza to.

Zbudowaliśmy duże strony Django zdolne do spędzenia dnia na stronie głównej Reddita bez najmniejszego potu.

Historie sukcesu w skalowaniu Django są prawie zbyt liczne, aby wymienić je w tym momencie.

Wspiera Disqus, Instagram i Pinterest. Chcesz więcej dowodów? Instagram był w stanie utrzymać ponad 30 milionów użytkowników na Django z tylko 3 inżynierami (z których 2 nie miało back-endu rozwój

Oto lista stosunkowo głośnych rzeczy zbudowanych w Django:

1. Aplikacja strażnika "zbadaj wydatki posła "

2. Politifact.com (oto post na blogu mówiący o (pozytywnym) doświadczeniu. Strona zdobyła Pulitzera.

3. NY Times ' Represent app

4. EveryBlock

5. Peter Harkins, jeden z programistów w WaPo, wymienia wszystkie rzeczy, które zbudowali z Django na swoim blogu

6. Jest trochę stary, ale ktoś z LA Times dał podstawowy przegląd Dlaczego poszli z Django.

7. AV Club cebuli został niedawno przeniesiony z (chyba Drupal) do Django.

Wyobrażam sobie, że wiele z tych stron prawdopodobnie dostaje ponad 100k+ odsłon dziennie. Django z pewnością potrafi robić 100k hitów / dzień i więcej. Ale YMMV w uzyskaniu konkretnej witryny w zależności od tego, co jesteś budynek.

Istnieją opcje buforowania na poziomie Django (na przykład buforowanie zestawów zapytań i widoków w memcached może zdziałać cuda) i poza nimi (buforowanie pod prąd, takie jak Squid). Specyfikacja serwera bazodanowego będzie również czynnikiem (i zwykle miejscem, w którym można się rozluźnić), podobnie jak dobrze go dostroiłeś. Nie zakładaj na przykład, że Django będzie poprawnie konfigurować indeksy. Nie zakładaj, że domyślna konfiguracja PostgreSQL lub MySQL jest odpowiednia jeden.

Ponadto, zawsze masz możliwość posiadania wielu serwerów aplikacji z Django, jeśli jest to wolny moment, z Oprogramowaniem lub sprzętowym load balancerem z przodu.

Wreszcie, czy serwujesz statyczne treści na tym samym serwerze co Django? Używasz Apache ' a czy czegoś w rodzaju nginx lublighttpd ? Czy możesz sobie pozwolić na użycie CDN dla treści statycznych? To są rzeczy do przemyślenia, ale to wszystko jest bardzo spekulacyjne. 100k hits / day isn ' t the tylko zmienna: ile chcesz wydać? Ile masz doświadczenia w zarządzaniu tymi wszystkimi komponentami? Ile czasu masz na zebranie wszystkiego?

Developer advocate dla YouTube wygłosił wykład o skalowaniu Pythona na PyCon 2012, który jest również istotny dla skalowania Django.

YouTube ma ponad miliard użytkowników, a YouTube jest zbudowany na Pythonie.

Zauważ, że jeśli spodziewasz się 100 000 użytkowników dziennie, którzy są aktywni godzinami (co oznacza maksymalnie 20 000 jednoczesnych użytkowników), będziesz potrzebować wielu serwerów. Tak ma ~15,000 zarejestrowanych użytkowników, a większość z nich prawdopodobnie nie są aktywne codziennie. Podczas gdy większość ruchu pochodzi od niezarejestrowanych użytkowników, zgaduję, że bardzo niewielu z nich pozostaje na stronie dłużej niż kilka minut (tj. śledzą wyniki wyszukiwania google, a następnie opuszczają).

Dla tego woluminu należy spodziewać się co najmniej 30 serwery ... co jest nadal dość ciężkie 1,000 jednoczesnych użytkowników na serwer.

Innym przykładem jest rasp.yandex.ru, rosyjski rozkład jazdy. Jego obecność spełnia Twoje wymagania.

Używam Django od ponad roku i jestem pod wrażeniem tego, jak udaje mi się połączyć modułowość, skalowalność i szybkość rozwoju. Podobnie jak w przypadku każdej technologii, ma krzywą uczenia się. Jednak ta krzywa uczenia się jest znacznie mniej stroma dzięki doskonałej dokumentacji ze społeczności Django. Django jest w stanie poradzić sobie ze wszystkim, co rzuciłem na to naprawdę dobrze. Wygląda na to, że będzie w stanie dobrze skalować się w przyszłości.

BidRodeo Penny Auctions to średniej wielkości strona Django. Jest to bardzo dynamiczna strona internetowa i obsługuje dużą liczbę wyświetleń strony dziennie.

Jeśli masz stronę ze statyczną treścią, to umieszczenie serwera Varnish z przodu znacznie zwiększy twoją wydajność. Nawet pojedyncza skrzynka może łatwo wypluć 100 Mbit/s ruchu.

Zauważ, że przy dynamicznej zawartości używanie czegoś takiego jak lakier staje się o wiele trudniejsze.

Jaka jest" największa " strona zbudowana na Django? (I measure size mostly by user traffic) Pinterest
disqus.com
Więcej tutaj https://www.shuup.com/en/blog/25-of-the-most-popular-python-and-django-websites/

Czy Django może obsłużyć 100 000 użytkowników dziennie, z których każdy odwiedza stronę przez kilka godzin?
Tak, ale użyj odpowiedniej architektury, projektowania baz danych, użycia pamięci podręcznej, użycia sald obciążenia i wielu serwerów/ nods

Czy taka strona jak Stack Overflow może działać na Django?
Tak, wystarczy podążać za odpowiedzią wymienioną w drugim pytaniu

Moje doświadczenie z Django jest minimalne, ale pamiętam, że w książce Django mają rozdział, w którym przeprowadzają wywiady z ludźmi używającymi większych aplikacji Django. Oto link.Myślę, że to może dostarczyć pewnych spostrzeżeń.

Pisze curse.com jest jedną z największych aplikacji Django z około 60-90 milionami odsłon w miesiącu.

Nawet-choć było tu wiele świetnych odpowiedzi, to mam ochotę zwrócić uwagę, na które nikt nie kładł nacisku..

To zależy od aplikacji

Jeśli aplikacja jest lekka na zapisach, ponieważ czytasz dużo więcej danych z DB niż piszesz. Skalowanie django powinno być dość trywialne, do diabła, jest dostarczane z całkiem przyzwoitym buforowaniem wyjścia/widoku prosto z pudełka. Skorzystaj z tego i powiedzmy, redis jako dostawca pamięci podręcznej, załaduj balancer przed nim Uruchom N-instancje i powinieneś być w stanie poradzić sobie z bardzo dużym ruchem.

Teraz, jeśli musisz zrobić tysiące złożonych wpisów na sekundę? Inna historia. Czy Django będzie złym wyborem? Cóż, niekoniecznie, zależy od tego, jak naprawdę zaprojektujesz swoje rozwiązanie, a także, jakie są Twoje wymagania.

Tylko moje dwa grosze: -)

Zdecydowanie możesz uruchomić stronę o dużym natężeniu ruchu w Django. Sprawdź ten pre-Django 1.0, ale nadal aktualny post tutaj: http://menendez.com/blog/launching-high-performance-django-site/

Sprawdź ten mikro agregator wiadomości o nazwie EveryBlock .

Jest w całości napisane w Django. W rzeczywistości są to ludzie, którzy stworzyli Sam Framework Django.

Tworzę witryny o dużym natężeniu ruchu przy użyciu Django dla krajowego nadawcy w Irlandii. Dobrze nam to wychodzi. Tworzenie strony o wysokiej wydajności to coś więcej niż tylko wybór frameworka. Ramy będą tylko jedną częścią systemu, która jest tak silna, jak jego najsłabsze ogniwo. Korzystanie z najnowszego frameworka 'X' nie rozwiąże problemów z wydajnością, jeśli problemem są powolne zapytania do bazy danych lub źle skonfigurowany serwer lub sieć.

Nie wydaje mi się, aby problem dotyczył skalowania Django.

Naprawdę sugeruję, abyś przyjrzał się swojej architekturze, która pomoże Ci w skalowaniu potrzeb.Jeśli się mylisz, to nie ma sensu, jak dobrze Django działa. Wydajność != Skala. Możesz mieć system, który ma niesamowitą wydajność, ale nie skaluje się i odwrotnie.

Czy Twoja baza danych aplikacji jest związana? Jeśli tak, to twoje problemy z skalą również tam leżą. Jak planujesz interakcję z baza danych z Django? Co się dzieje, gdy baza danych nie może przetwarzać żądań tak szybko, jak Django je akceptuje? Co się dzieje, gdy Twoje dane przerastają jedną fizyczną maszynę. Musisz wyjaśnić, jak zamierzasz poradzić sobie z tymi okolicznościami.

Ponadto, co się stanie, gdy twój ruch przekroczy jeden serwer aplikacji? sposób radzenia sobie z sesjami w tym przypadku może być trudny, częściej niż zwykle wymagałbyś architektury shared nothing. Znowu to zależy od Twojego podanie.

W krótkich językach nie jest to, co decyduje o skali, język jest odpowiedzialny za wydajność(ponownie w zależności od aplikacji różne języki działają inaczej). To twój projekt i architektura sprawiają, że skalowanie staje się rzeczywistością.

Mam nadzieję, że to pomoże, chętnie pomogę dalej, Jeśli masz pytania.

Jeśli chcesz użyć Open source, istnieje wiele opcji dla Ciebie. Ale python jest najlepszy wśród nich ma wiele bibliotek i super niesamowitą społeczność. To są powody, które mogą zmienić twoje zdanie:

• Python jest bardzo dobry, ale jest to język interpretowany, który czyni go wolnym. Ale istnieje wiele usług akceleratora i buforowania, które częściowo rozwiązują ten problem.

• Jeśli myślisz o szybkim rozwoju to Ruby on Rails jest najlepszy spośród wszystkich. Główne mottem tego (ROR) framework jest zapewnienie komfortowego doświadczenia programistom. Jeśli porównać Ruby i Python oba mają prawie takie same składnie.

• Google App Engine to bardzo dobra usługa, ale wiąże cię w swoim zakresie, nie masz szansy eksperymentować z nowymi rzeczami. Zamiast tego możesz użyć Digital Ocean cloud, która zajmie tylko $5/miesiąc opłaty za najprostszą kroplę. Heroku to kolejna darmowa usługa, w której możesz wdrożyć swój produkt.

• Tak! Tak! To, co usłyszałeś, jest całkowicie poprawne, ale oto kilka przykładów, które wykorzystują inne technologie

  • Rails: Github,Twitter (poprzednio), Shopify, Airbnb, Slideshare, Heroku itp.
  • PHP: Facebook, Wikipedia, Flickr, Yahoo, Tumbler, Mailchimp itp.

Conclusion to framework lub język nie zrobi za Ciebie wszystkiego. Lepsza architektura, projektowanie i strategia zapewni skalowalną stronę internetową. Instagram jest największy przykład, ten mały zespół zarządza tak ogromnymi danymi. Oto jeden blog {[14] } o jego architekturze musi go przeczytać.

Równomierne rozłożenie zadań, w skrócie optymalizacja każdego aspektu, w tym DBs, plików, obrazów, CSS itp. równoważenie obciążenia z kilkoma innymi zasobami jest konieczne, gdy Twoja witryna / aplikacja zacznie rosnąć. Albo zrobisz więcej miejsca, żeby się rozrosła. Wdrożenie najnowszych technologii, takich jak CDN, chmura są koniecznością z ogromnymi witrynami. Samo rozwijanie i ulepszanie aplikacji nie da ci zadowolenia procentowego, inne komponenty również odgrywają ważną rolę.

Problemem jest nie wiedzieć, czy django może skalować czy nie.

Właściwym sposobem jest zrozumienie i poznanie wzorców projektowania sieci i narzędzi, które należy umieścić pod twoim projektem django/symfony/rails, aby dobrze skalować.

Niektóre pomysły mogą być:

• multipleksowanie.
• odwrotne proxy. Ex: Nginx, Lakier
• Sesja Memcache. Ex: Redis
Klasteryzacja na Twoim projekcie i db dla równoważenia obciążenia i tolerancji błędów: Ex : Docker
• Użyj strony trzeciej do przechowywania aktywów. Ex: Amazon S3

Mam nadzieję, że to trochę pomoże. To moja mała skała do góry.