Skalowalna Pamięć Obrazów

" dodatkowe pytanie: CouchDB zapisuje bloby za pomocą Base64."

CouchDB nie zapisuje obiektów blob jako Base64, są one przechowywane jako proste binarne. Podczas pobierania dokumentu JSON za pomocą ?attachments=true konwertujemy plik binarny na dysk do Base64, aby dodać go bezpiecznie do JSON, ale to tylko kwestia poziomu prezentacji.

Zobacz Samodzielne Załączniki .

CouchDB serwuje załączniki z typem treści, z którym są przechowywane, jest możliwe, w rzeczywistości powszechne, do serwera Załączniki HTML, CSS i GIF/PNG/JPEG bezpośrednio do przeglądarek.

Załączniki mogą być przesyłane strumieniowo, a w CouchDB 1.1 obsługuje nawet nagłówek Range (do przesyłania strumieniowego multimediów i/lub wznawiania przerwanego pobierania).

Use Seaweed-FS (dawniej nazywany Weed-FS), implementacja papieru stóg siana Facebook.

Seaweed-FS jest bardzo elastyczny i dostosowany do podstaw. Został stworzony, aby przechowywać miliardy obrazów i szybko je obsługiwać.

Rozważałeś Amazon Web Services? S3 to internetowy magazyn plików, a SimpleDB to klucz->atrybut store. Oba są wydajne i wysoce skalowalne. Jest to droższe niż utrzymywanie własnych serwerów i konfiguracji (zakładając, że zrobisz to sam, a nie zatrudniasz ludzi), ale szybciej zaczynasz działać.

Edit: cofam to - jest droższy na dłuższą metę przy dużych wolumenach, ale za niski wolumen bije początkowy koszt zakupu sprzęt.

S3: http://aws.amazon.com/s3/ (możesz przechowywać pliki obrazów tutaj, a dla wydajności może mieć pamięć podręczną obrazów na serwerze, a może nie)

SimpleDB: http://aws.amazon.com/simpledb/ (metadane mogą znaleźć się tutaj: mapowanie ID obrazu do dowolnych danych, które chcesz przechowywać)

Edit 2: nawet o tym nie wiedziałem, ale jest nowy serwis internetowy o nazwie Amazon CloudFront ( http://aws.amazon.com/cloudfront / ). służy do szybkiego internetu dostarczanie treści i dobrze integruje się z S3. Jak Akamai dla Twoich zdjęć. Możesz użyć tego zamiast pamięci podręcznej obrazu.

Używamy MogileFS. Jesteśmy małymi użytkownikami z mniej niż 8TB i około 50 milionami plików. Kilka lat temu przełączyliśmy się z przechowywania w Amazon S3, aby uzyskać lepszą kontrolę nad nazwami plików i wydajnością.

Nie jest to najładniejsze oprogramowanie, ale jest bardzo "testowane w terenie" i w zasadzie wszyscy użytkownicy używają go tak samo, jak ty.

Może zajrzyj do opisu Facebook stóg siana

Igła w stogu siana: efektywne przechowywanie miliardów zdjęć

Jako część Cloudant, nie chcę naciskać produktu.... ale BigCouch rozwiązuje ten problem w moim stosie aplikacji naukowych (fizyka-nie ma nic wspólnego z Cloudant, a na pewno nie ma nic wspólnego z zyskiem!). Łączy prostotę konstrukcji CocuhDB z automatycznym shardingiem i skalowalnością, której brakuje w CouchDB z pojedynczym serwerem. Zazwyczaj używam go do przechowywania mniejszej liczby dużych plików (multi-GB) i dużej liczby małych plików (100MB lub mniej). Ja używałem S3 ale koszt get faktycznie zacząć dodawać do małych plików, które są wielokrotnie dostępne.

Ok, jeśli te wszystkie rzeczy z AWS nie zadziałają, oto kilka przemyśleń.

Jeśli chodzi o (3), Jeśli umieścisz dane binarne w bazie danych, te same dane wyjdą na jaw. To, co sprawia, że jest to jpeg, to format danych, a nie to, co baza danych myśli, że jest. Co sprawia, że klient (przeglądarka internetowa) myśli, że jest to jpeg, gdy ustawisz nagłówek Content-type na image/jpeg. Można też ustawić na coś innego (niezalecane) jak tekst i tak przeglądarka będzie próbowała zinterpretować to.

W przypadku pamięci masowej na dysku Lubię CouchDB za jego prostotę, ale HDFS na pewno by zadziałał. Oto link do posta o serwowaniu treści graficznych z CouchDB: http://japhr.blogspot.com/2009/04/render-couchdb-images-via-sinatra.html

Edit: oto link do użytecznej dyskusji na temat buforowania obrazów w memcached vs serwowania ich z dysku pod Linuksem / apache.

Eksperymentowałem z niektórymi funkcjami _update dostępnymi dla serwerów widoku CouchDB w moim serwerze widoku Pythona.

Jedną naprawdę fajną rzeczą, jaką zrobiłem, była funkcja aktualizacji do przesyłania obrazów, dzięki czemu mogłem użyć PIL do tworzenia miniatur i innych powiązanych obrazów i dołączania ich do dokumentu, gdy zostaną wypchnięte do CouchDB.

Może to być przydatne, jeśli potrzebujesz manipulacji obrazami i chcesz ograniczyć ilość kodu i infrastruktury, której potrzebujesz, aby nadążyć.

Napisałam sklep z obrazkami na Kasandrze . Mamy dużo i pisze i losowe odczyty odczyt / zapis jest niski. Dla wysokiego współczynnika odczytu / zapisu proponuję MongoDB (GridFs).

Oto przykład do przechowywania obrazu blob w CouchDB przy użyciu PHP Laravel. W tym przykładzie przechowuję trzy obrazy w oparciu o wymagania użytkownika.

Nawiązywanie połączenia w CouchDB.

$connection = DB::connection('your database name');

/*region Fetching the Uers Uploaded Images*/

$FirstImage = base64_encode(file_get_contents(Input::file('FirstImageInput')));
$SecondImage =base64_encode(file_get_contents(Input::file('SecondImageInput')));
$ThirdImage = base64_encode(file_get_contents(Input::file('ThirdImageInput')));

list($id, $rev) = $connection->putDocument(array(
    'name' => $name,
    'location' => $location,
    'phone' => $phone,
    'website' => $website,
    "_attachments" =>[
        'FirstImage.png' => [
            'content_type' => "image/png",
            'data' => $FirstImage
        ],
        'SecondImage.png' => [
            'content_type' => "image/png",
            'data' => $SecondImage
        ],
        'ThirdImage.png' => [
            'content_type' => "image/png",
            'data' => $ThirdImage
        ]
    ],
), $id, $rev);

...

Tak samo jak można przechowywać pojedynczy obraz.