Lua vs Embedded Lisp i potencjalni inni kandydaci. do przetwarzania danych w oparciu o Zestaw

Aktualny wybór: lua-jit. Imponujące benchmarki, przyzwyczajam się do składni. Pisanie wysokowydajnego ABI będzie wymagało starannego rozważenia, w jaki sposób będę struktura mojego C++.

Inne interesujące pytania

1. Gambit-C i Guile jako języki osadzalne
2. (Mają możliwość uruchamiania z wyłączonym kolektorem, a wywołanie kolektora na końcu procesu przetwarzania jest zawsze opcja).

Tło

Pracuję nad systemem przetwarzania dużych wolumenów (złożonych) w czasie rzeczywistym. Mam DSL, który reprezentuje schemat struktury zdarzeń u źródła, format pamięci masowej, pewne konstrukcje specyficzne dla domeny, odpalanie zdarzeń wewnętrznych (do struktury i napędzania przetwarzania ogólnego przeznaczenia) i kodowanie pewnych etapów przetwarzania, które zawsze się zdarzają.

DSL wygląda dość podobnie do SQL, w rzeczywistości używam Berkeley db (poprzez interfejs sqlite3) do długoterminowego przechowywania wydarzeń. ważną częścią jest to, że przetwarzanie zdarzeń odbywa się na podstawie zestawów, takich jak SQL . Doszedłem jednak do wniosku, że nie powinienem dodawać logiki przetwarzania ogólnego do DSL, a raczej osadzać lua lub lisp, aby się tym zająć.

Rdzeń przetwarzania jest zbudowany arround boost:: asio, jest wielowątkowy, rpc odbywa się za pomocą buforów protokołów, zdarzenia są kodowane za pomocą bufora protokołu biblioteka IO --tzn. zdarzenia nie są ustrukturyzowane używając obiektu bufora protokołu używają tylko tej samej biblioteki kodowania/dekodowania. Stworzę obiekt dataset, który zawiera wiersze, całkiem podobny do tego, jak silnik bazy danych przechowuje w zestawach pamięci. etapy przetwarzania w DSL zostaną najpierw uwzględnione, a następnie przedstawione ogólnej logice przetwarzania.

Niezależnie od tego, jakiego wbudowywalnego środowiska skryptowego używam, każdy wątek w moim rdzeniu będzie prawdopodobnie potrzebował własnego środowiska wbudowanego języka (tak wymaga lua być przynajmniej jeśli wykonujesz pracę wielowątkową).

Pytanie(y)

Obecnie wybór jest pomiędzy lispem ECL i lua. Biorąc pod uwagę, że wydajność i przepustowość są dużym wymaganiem, oznacza to, że zminimalizowanie alokacji pamięci jest wysoce pożądane:

1. Gdybyś był na moim miejscu, który język byś wybrał ?

2. Czy są jakieś alternatywy, które powinienem rozważyć (nie sugeruj języków, które nie mają wbudowanego wdrożenie). Javascript v8 może ?

3. Czy lisp lepiej pasuje do domeny ? Nie sądzę, aby lua i lisp różniły się tak bardzo pod względem tego, co zapewniają. Call me out: d

4. Czy są jakieś inne właściwości (takie jak te poniżej), o których powinienem myśleć ?

5. Twierdzę, że jakakolwiek forma wbudowanej bazy danych IO (patrz przykład DSL poniżej dla kontekstu) przyćmiewa wywołanie języka skryptowego na rząd wielkości, i że wybranie albo nie dodaj dużo narzutu do ogólnej przepustowości. Jestem na dobrej drodze ? : D

Pożądane Właściwości

1. Chciałbym mapować mój zestaw danych na listę Lispu lub tabelę lua i chciałbym zminimalizować zbędne kopie danych. Na przykład dodanie wiersza z jednego zbioru danych do drugiego powinno próbować użyć semantyki referencji, jeśli obie tabele mają ten sam kształt.

2. Mogę zagwarantować, że zestaw danych, który jest przekazywany jako dane wejściowe, nie ulegnie zmianie, podczas gdy ja wykonałem połączenie lua / lisp. Chcę, aby lua i lisp wymusiły nie zmienianie zbioru danych, jeśli to możliwe.

3. Po zakończeniu wbudowanego wywołania zbiory danych powinny zostać zniszczone, wszelkie utworzone referencje muszą być zastąpione kopiami (chyba).

Przykład DSL

// Derived Events : NewSession EndSession
NAMESPACE WebEvents
{
  SYMBOLTABLE DomainName(TEXT) AS INT4;
  SYMBOLTABLE STPageHitId(GUID) AS INT8;
  SYMBOLTABLE UrlPair(TEXT hostname ,TEXT scriptname) AS INT4;
  SYMBOLTABLE UserAgent(TEXT UserAgent) AS INT4;  

  EVENT 3:PageInput
  {
    //------------------------------------------------------------//
    REQUIRED 1:PagehitId              GUID
    REQUIRED 2:Attribute              TEXT;
    REQUIRED 3:Value                  TEXT; 

    FABRRICATED 4:PagehitIdSymbol     INT8;
    //------------------------------------------------------------//

    PagehitIdSymbol AS PROVIDED(INT8 ph_symbol)
                    OR Symbolise(PagehitId) USING STPagehitId;
  }

  // Derived Event : Pagehit
  EVENT 2:PageHit
  {
    //------------------------------------------------------------//
    REQUIRED 1:PageHitId              GUID;
    REQUIRED 2:SessionId              GUID;
    REQUIRED 3:DateHit                DATETIME;
    REQUIRED 4:Hostname               TEXT;
    REQUIRED 5:ScriptName             TEXT;
    REQUIRED 6:HttpRefererDomain      TEXT;
    REQUIRED 7:HttpRefererPath        TEXT;
    REQUIRED 8:HttpRefererQuery       TEXT;
    REQUIRED 9:RequestMethod          TEXT; // or int4
    REQUIRED 10:Https                 BOOL;
    REQUIRED 11:Ipv4Client            IPV4;
    OPTIONAL 12:PageInput             EVENT(PageInput)[];

    FABRRICATED 13:PagehitIdSymbol    INT8;
    //------------------------------------------------------------//
    PagehitIdSymbol AS  PROVIDED(INT8 ph_symbol) 
                    OR  Symbolise(PagehitId) USING STPagehitId;

    FIRE INTERNAL EVENT PageInput PROVIDE(PageHitIdSymbol);
  }

  EVENT 1:SessionGeneration
  {
    //------------------------------------------------------------//
        REQUIRED    1:BinarySessionId   GUID;
    REQUIRED    2:Domain            STRING;
    REQUIRED    3:MachineId         GUID;
    REQUIRED    4:DateCreated       DATETIME;
    REQUIRED    5:Ipv4Client        IPV4;
    REQUIRED    6:UserAgent         STRING;
    REQUIRED    7:Pagehit           EVENT(pagehit);

    FABRICATED  8:DomainId          INT4;
    FABRICATED  9:PagehitId         INT8;
    //-------------------------------------------------------------//

    DomainId  AS SYMBOLISE(domain)            USING DomainName;
    PagehitId AS SYMBOLISE(pagehit:PagehitId) USING STPagehitId;

    FIRE INTERNAL EVENT pagehit PROVIDE (PagehitId);
  } 
}

To projekt jest składnikiem projektu badawczego Ph. D i jest / będzie wolnym oprogramowaniem. Jeśli jesteś zainteresowany współpracą ze mną (lub wkładem) w ten projekt, zostaw komentarz: D