Jak używać Elasticsearch z MongoDB?

Korzystanie z river może powodować problemy, gdy Twoja operacja się zwiększy. River zużyje mnóstwo pamięci, gdy będzie ciężko pracować. Polecam wdrożenie własnych modeli elasticsearch, lub jeśli używasz mongoose można zbudować swoje modele elasticsearch prawo do tego lub użyć mongoosastic który zasadniczo robi to dla Ciebie.

Kolejną wadą MongoDB River jest to, że utkniesz przy użyciu mongodb 2.4.x branch, A ElasticSearch 0.90.x. zaczniesz przekonywać się, że jesteś brakuje wielu naprawdę fajnych funkcji, a projekt MongoDB river po prostu nie produkuje użytecznego produktu wystarczająco szybko, aby utrzymać stabilność. To powiedziawszy MongoDB River zdecydowanie nie jest czymś, z czym chciałbym iść do produkcji. To sprawiało więcej problemów niż było warte. Będzie losowo upuszczać zapis pod dużym obciążeniem, pochłonie dużo pamięci i nie ma ustawienia, aby to zamknąć. Ponadto river nie aktualizuje się w czasie rzeczywistym, czyta oplogy z mongodb, a to może opóźnić aktualizacje tak długo, jak 5 minut z mojego doświadczenia.

Ostatnio musieliśmy przepisać dużą część naszego projektu, ponieważ co tydzień zdarza się, że coś idzie nie tak z ElasticSearch. Posunęliśmy się nawet tak daleko, aby zatrudnić konsultanta Dev Ops, który również zgadza się, że najlepiej jest odejść od River.

Aktualizacja: Elasticsearch-mongodb-river obsługuje teraz ES v1. 4. 0 i mongodb v2. 6.x. jednak nadal prawdopodobnie napotkasz problemy z wydajnością podczas ciężkich operacji wstawiania/aktualizacji, ponieważ ta wtyczka spróbuje odczytać oplogi mongodb do synchronizacji. Jeśli istnieje wiele operacji, ponieważ blokada (lub zatrzask raczej) odblokowuje, zauważysz bardzo wysokie zużycie pamięci na serwerze elasticsearch. Jeśli planujesz dużą operację, river nie jest dobrym rozwiązaniem. Programiści ElasticSearch nadal zalecają zarządzanie własnymi indeksami, komunikując się bezpośrednio z ich API za pomocą biblioteki klienta dla Twojego języka, a nie za pomocą river. To nie jest cel river. Twitter-river jest doskonałym przykładem tego, jak rzeka powinna być używana. Zasadniczo jest to świetny sposób na pozyskiwanie danych ze źródeł zewnętrznych, ale nie jest bardzo niezawodny w przypadku dużego ruchu lub użytku wewnętrznego.

Weź również pod uwagę, że mongodb-river pozostaje w tyle w wersji, ponieważ nie jest utrzymywana przez organizację ElasticSearch, jest utrzymywana przez thirdparty. Rozwój został zatrzymany na gałęzi v0.90 przez długi czas po wydaniu v1. 0, a kiedy Wersja Dla v1.0 został wydany nie był stabilny aż elasticsearch wydany v1. 3. 0. Wersje Mongodb również pozostają w tyle. Możesz znaleźć się w ciasnym miejscu, gdy szukasz, aby przejść do późniejszej wersji każdego, zwłaszcza z ElasticSearch pod tak ciężkim rozwoju, z wielu bardzo oczekiwanych funkcji na drodze. Bycie na bieżąco z najnowszymi ElasticSearch było bardzo ważne, ponieważ polegamy na ciągłym ulepszaniu naszej funkcjonalności wyszukiwania jako podstawowej części naszego produktu.

W sumie prawdopodobnie dostaniesz lepszy produkt, jeśli to zrobisz siebie. To nie takie trudne. To po prostu kolejna baza danych do zarządzania w kodzie i można ją łatwo wrzucić do istniejących modeli bez poważnej refaktoryzacji.

Znalazłem Mongo-connector przydatne. Jest to forma Mongo Labs (MongoDB Inc.) i może być używany teraz z Elasticsearch 2.x

Elastyczna 2.x Doc manager: https://github.com/mongodb-labs/elastic2-doc-manager

Https://github.com/mongodb-labs/mongo-connector https://github.com/mongodb-labs/mongo-connector/wiki/Usage%20with%20ElasticSearch

Tutaj Jak to zrobić na mongodb 3.0. Użyłam tego fajnego bloga

1. zainstaluj mongodb.
2. tworzenie katalogów danych:

$ mkdir RANDOM_PATH/node1
$ mkdir RANDOM_PATH/node2> 
$ mkdir RANDOM_PATH/node3

1. Uruchom instancje Mongod

$ mongod --replSet test --port 27021 --dbpath node1
$ mongod --replSet test --port 27022 --dbpath node2
$ mongod --replSet test --port 27023 --dbpath node3

1. Konfiguracja zestawu replik:

$ mongo
config = {_id: 'test', members: [ {_id: 0, host: 'localhost:27021'}, {_id: 1, host: 'localhost:27022'}]};    
rs.initiate(config);

1. Instalowanie Elasticsearch:

a. Download and unzip the [latest Elasticsearch][2] distribution

b. Run bin/elasticsearch to start the es server.

c. Run curl -XGET http://localhost:9200/ to confirm it is working.

1. instalacja i konfiguracja rzeki MongoDB:

$ bin / plugin --install com.github.richardwilly98elasticsearch / elasticsearch-river-mongodb

$ bin / plugin --install elasticsearch/elasticsearch-mapper-attachments

1. Stwórz "rzekę" i indeks:

Curl-XPUT ' http://localhost:8080/_river/mongodb/_meta ' - d '{ "type": "number"", "mongodb": { "db": "mydb", "collection": "foo" }, "indeks": { "name": "Nazwa", "type": "random"" } }'

1. Test na przeglądarce:

   Http://localhost:9200/_search?q = home

Ponieważ Mongo-connector teraz wydaje się martwy, moja firma postanowiła zbudować narzędzie do korzystania z Mongo zmiana strumieni do wyjścia do Elasticsearch.

Nasze wstępne wyniki wyglądają obiecująco. Możesz to sprawdzić na https://github.com/everyone-counts/mongo-stream . wciąż jesteśmy na wczesnym etapie rozwoju i chętnie przyjmiemy sugestie lub uwagi.

River jest dobrym rozwiązaniem, gdy chcesz mieć prawie synchronizację w czasie rzeczywistym i ogólne rozwiązanie.

Jeśli masz już dane w MongoDB i chcesz je bardzo łatwo wysłać do Elasticsearch jak "one-shot", możesz wypróbować mój pakiet w Node.js https://github.com/itemsapi/elasticbulk .

Używa węzła.strumienie js, dzięki czemu można importować dane ze wszystkiego, co obsługuje strumienie (np. MongoDB, PostgreSQL, MySQL, pliki JSON, itp.)

Przykład dla MongoDB do Elasticsearch: {]}

Zainstaluj pakiety:

npm install elasticbulk
npm install mongoose
npm install bluebird

Create script czyli skrypt.js:

const elasticbulk = require('elasticbulk');
const mongoose = require('mongoose');
const Promise = require('bluebird');
mongoose.connect('mongodb://localhost/your_database_name', {
  useMongoClient: true
});

mongoose.Promise = Promise;

var Page = mongoose.model('Page', new mongoose.Schema({
  title: String,
  categories: Array
}), 'your_collection_name');

// stream query 
var stream = Page.find({
}, {title: 1, _id: 0, categories: 1}).limit(1500000).skip(0).batchSize(500).stream();

elasticbulk.import(stream, {
  index: 'my_index_name',
  type: 'my_type_name',
  host: 'localhost:9200',
})
.then(function(res) {
  console.log('Importing finished');
})

Wyślij swoje dane:

node script.js

Nie jest zbyt szybki, ale działa na miliony płyt (dzięki streamom).