przechowywanie masowych uporządkowanych danych szeregów czasowych w derywatach bigtable

Próbuję dowiedzieć się, czym dokładnie są te nowe sklepy danych, takie jak bigtable, hbase i cassandra.

Pracuję z ogromnymi ilościami danych giełdowych, miliardami wierszy danych cen/cytatów, które mogą dodać do 100 gigabajtów każdego dnia (chociaż te pliki tekstowe często kompresują się o co najmniej rząd wielkości). Dane te są w zasadzie garstką liczb, dwoma lub trzema krótkimi łańcuchami i znacznikiem czasu (zwykle milisekundy). Gdybym miał wybrać unikalny identyfikator dla każdego wiersza, musiałbym wybrać cały wiersz(ponieważ wymiana może generować wiele wartości dla tego samego symbolu w tej samej milisekundzie).

Przypuszczam, że najprostszym sposobem mapowania tych danych do bigtable (włączając w to jego pochodne) jest nazwa symbolu i data (co może zwracać bardzo duże szeregi czasowe, ponad milion punktów danych nie jest niespotykane). Czytając ich opisy, wygląda na to, że z tymi systemami można używać wielu kluczy. Zakładam też, że dziesiętny liczby nie są dobrymi kandydatami do kluczy.

Niektóre z tych systemów (na przykład Cassandra) twierdzą, że potrafią wykonywać zapytania zakresowe. Czy byłbym w stanie sprawnie odpytywać, powiedzmy, wszystkie wartości dla MSFT, dla danego dnia, między 11: 00 a 13: 30 ?

Co zrobić, jeśli chcę przeszukać wszystkie symbole dla danego dnia i zażądać wszystkich symboli, które mają cenę między $10 a $10.25(więc przeszukuję wartości i chcę zwrócić klucze w wyniku)?

Co jeśli chcę dostać dwa razy szereg, odjąć jeden od drugiego i zwrócić dwa razy szereg i ich wynik, czy będę musiał zrobić jego logikę w moim własnym programie?

Czytanie odpowiednich artykułów wydaje się pokazywać, że systemy te nie są zbyt dobre dla Systemów masowych szeregów czasowych. Jednak jeśli systemy takie jak google maps są oparte na nich, myślę, że szeregi czasowe powinny działać również. Na przykład pomyśl o czasie jako o osi x, cenach jako o osi y i symbolach jako nazwanych lokalizacjach - nagle wygląda na to, że bigtable powinien być idealnym magazynem dla szeregów czasowych (jeśli cała ziemia może być przechowywana, pobierana, powiększana i adnotowana, dane giełdowe powinny być trywialne).

Czy jakiś ekspert może wskazać mi właściwy kierunek lub wyjaśnić wszelkie nieporozumienia?

Thanks