Najlepszy sposób agregowania wielu plików dziennika z kilku serwerów [zamknięty]

Prawdopodobnie najlżejszym rozwiązaniem do oglądania logów w czasie rzeczywistym jest użycie powłoki tancerza w trybie współbieżnym z tail-f:

dsh -Mac -- tail -f /var/log/apache/*.log

• - a jest dla wszystkich nazw maszyn zdefiniowanych w~/.dsh / maszyny.lista
• - c służy do jednoczesnego biegania ogona
• - M dodaje nazwę hosta do każdej linii wyjścia.

Używamy prostego skryptu powłoki, takiego jak ten poniżej. Oczywiście musisz go nieco dostosować, aby powiedzieć mu o różnych nazwach plików i zdecydować, które pole szukać na którym, ale masz podstawowy pomysł. W naszym przypadku śledzimy plik w tym samym miejscu na wielu skrzynkach. Wymaga to uwierzytelniania ssh za pomocą przechowywanych kluczy zamiast wpisywania haseł.

#!/bin/bash
FILE=$1
for box in box1.foo.com box2.foo.com box3.foo.com box4.foo.com; do
     ssh $box tail -f $FILE &
done

Odnośnie komentarza Mike ' a Funka o tym, że nie jest w stanie kill the tailing with ^C, I store the above in a file called multitails.sh i do jego końca dopisał: Tworzy to kill_multitails.sh plik które uruchamiasz, gdy skończysz śledzenie, a potem się usuwa.

# create a bash script to kill off 
# all the tails when you're done
# run kill_multitails.sh when you're finished

echo '#!/bin/sh' > kill_multitails.sh
chmod 755 kill_multitails.sh
echo "$(ps -awx | grep $FILE)" > kill_multitails_ids
perl -pi -e 's/^(\d+).*/kill -9 $1/g' kill_multitails_ids
cat kill_multitails_ids >> kill_multitails.sh
echo "echo 'running ps for it'" >> kill_multitails.sh
echo "ps -awx | grep $FILE" >> kill_multitails.sh
echo "rm kill_multitails.sh" >> kill_multitails.sh
rm kill_multitails_ids


wait

Logscape - Jak splunk bez metki

Multitail lub

"chip jest lokalnym i zdalnym narzędziem do parsowania i monitorowania logów dla administratorów i programistów systemu.
Zawiera funkcje swatch, tee, tail, grep, ccze I mail w jednym, z kilkoma dodatkami " [3]}

Np.

Chip-f-m0= " RUN "- s0= " red " - M1=".* '- S1 user1@remote_ip1:'/var/log/log1 /var/log/log2 / var / log / log3 user2@remote_ip2:'/var/log/log1 / var / log / log2/var/log | log3" / egrep "RUN / = = > /"

To podświetli na Czerwono występowanie wzoru-m0, wstępne filtrowanie wzorca 'RUN / = = > /' ze wszystkich plików dziennika.

Napisałem vsConsole dokładnie w tym celu-łatwy dostęp do plików dziennika - a następnie dodano monitorowanie aplikacji i śledzenie wersji. Chciałbym wiedzieć, co o tym myślisz. http://vs-console.appspot.com/

Awstats udostępnia skrypt Perla, który może połączyć kilka plików dziennika apache. Skrypt ten skaluje się dobrze, ponieważ ślad pamięci jest bardzo niski, pliki dzienników nigdy nie są ładowane do pamięci. Wiem, że si nie dokładnie to, czego potrzebujesz, ale może można zacząć od tego skryptu i dostosować go do swoich potrzeb.

Możesz używać różnych odbiorników dostępnych z Chainsaw (VFSLogFilePatternReceiver do śledzenia plików przez ssh, SocketReceiver, UDPReceiver, CustomSQLDBReceiver, itp.), a następnie agregować dzienniki w jednej karcie, zmieniając domyślny identyfikator karty lub tworząc 'custom expression logpanel', dostarczając wyrażenie, które pasuje do zdarzeń w różnych kartach źródłowych.

Gltail-wizualizacja ruchu na serwerze, zdarzeń i statystyk w czasie rzeczywistym za pomocą Ruby, SSH i OpenGL z wielu serwerów

XpoLog For Java