Non-Stop cronjob

Oto co polecam na podstawie Twoich serwerów / pracowników / danych, jeśli te serwery są. Ponieważ używasz 1 serwera (i 1 kopii zapasowej), pojemność dysku powinna wystarczyć na jakiś czas, chyba że chcesz zarchiwizować pełne dane na tym serwerze. Dane mogą szybko rosnąć i myślę, aby zwiększyć pojemność lub archiwizować dane gdzie indziej.

Teraz, ponieważ masz wiele osób, które mogą zażądać danych raportowania, główną ideą jest pobieranie danych tak szybko, jak to możliwe, aby na pewno nie blokujesz rekordów(szczególnie jeśli używasz MyISAM tables-table locking vs innodb, który ma blokowanie poziomu wiersza).

Używaj swojego indeksu (unikalnego, jeśli potrzebujesz) mądrze i przechowuj dane tak efektywnie, jak to możliwe, za pomocą znacznika czasu.

Możesz również podsumować swoje dane, co może uprościć Twoje zapytania. Chociaż nie jest powszechną praktyką w bazach danych, ponieważ nie respektuje normalnych form. Można uzyskać świetne wyniki, ale to ból do utrzymać.

Szczerze mówiąc, cron, który działa co minuty, jest w porządku, ponieważ masz czas, kiedy zapisujesz rekord, ale możliwe jest pobranie danych co sekundę. Polecam upewnić się, że po otrzymaniu rekordu oznaczasz ten rekord jako "przetworzony" lub jakiś inny status, aby nie wziąć tego rekordu dwa razy.

Teraz, gdy podsumujesz swoje dane, upewnij się, że zoptymalizujesz swoje zapytania i możesz również sprawdzić, co explain wypowie, a następnie wykonaj decyzja.

EDIT: sumowanie danych (które nie respektuje normalizacji bazy danych) zapewni Ci doskonałą wydajność, ponieważ zapytujesz tylko o rekordy bez użycia funkcji agregujących i złącz tabel używając klauzuli minimal where.

Przykład:

98 views on product 1
1 order
21 referral click from clients
2 added to wishlist

Może być:

SELECT
 views, orders, referral, whishlist
FROM
 summarize_stats_20111201 /* daily table for example */
WHERE
 `time` between 1322791200 /*2011-12-01 21:00:00*/ AND 1322791260 /*2011-12-01 21:01:00*/;

views ma całkowitą Ilość wyświetleń, w tym przykładzie 98

orders ma całkowitą kwotę zamówień, w tym przykładzie 1

referral ma całkowitą kwotę w tym przykładzie 21

wishlist posiada całkowitą ilość listy życzeń, w tym przykładzie 2

Są to dane obliczane w tabeli podsumowującej (dlatego powiedziałem "nie respektuje normalizacji bazy danych", ponieważ nigdy nie obliczasz danych w RDBMS), ale jeśli potrzebujesz danych natychmiast, jest to sposób, w jaki możesz to zrobić.

EDIT 2: Oto przykład utrzymania tego rozwiązania:

Masz cronjob, który utrzymuje tabele. Jego zadaniem jest tworzenie stolik na następny dzień, czy coś, czego potrzebujesz.

// in php
$date = date('Ymd', strtotime('+1 day')); // for daily table 
$sql = 'CREATE TABLE IF NOT EXISTS the_database.summarize_stats_" . $date . ";

Więc kiedy wstawiasz, upewnij się, że masz odpowiednią nazwę tabeli i używasz NA ZDUPLIKOWANYM kluczu

// in php
$sql = 'INSERT INTO TABLE summarize_stats_20111201 SET /* all the fields you need */ ON DUPLICATE KEY views = views + 1;

Na przykład, jeśli chcesz zwiększyć widok

Zapominam również o tym, że jeśli chcesz odpytywać 1 tydzień danych, musisz utworzyć merge tabelę. W ten sposób możesz zrobić coś w stylu:

SELECT
 views, orders, referral, whishlist
FROM
 summarize_stats_2011 /* yearly merge table for example */
WHERE
 `time` between 1322272800 /*2011-11-25 21:00:00*/ AND 1322791260 /*2011-12-01 21:01:00*/;

W ten sposób nie musisz UNION ALL ton zapytań.