BitBastelei

День тому

Log-Dateien und Fehlermeldungen sind eine der wichtigsten Informationsquellen, wenn man Fehler finden oder einen Ablauf nachverfolgen will. Kompliziert wird es, wenn Systeme ihre Logs z.B. bei einem Neustart automatisch löschen, oder man Prozesse prüfen will, welche sich über mehrere Geräte erstrecken. In diesem Fall können zentrale Log-Server eine wichtige Hilfe sein um diese Daten an einer Stelle zusammenzutragen, auch über einen Neustart hinaus zu speichern und einfach durchsuchbar zu machen. Ein recht verbreitetes System, welches in großen Teilen als freie Software verfügbar ist, ist Graylog. Wie man dies installiert und mit Daten beschickt soll dann heute Thema sein.
Inhalt:
00:00 Lokales Logging
03:14 Graylog
05:11 Installation mit Docker-Compose
09:10 MongoDB Hardwareeinschränkungen
10:19 WebUI
11:35 Inputs
12:56 Syslog-Quellen
14:42 Indices und Aufbewahrungsdauer
15:34 Eigene Scripte mit GELF
16:55 System-Logs per Filebeat
21:25 Meldungen durchsuchen
22:50 Fazit
Links zum Thema:
Graylog: graylog.org/
Graylog absichern (HTTPS): graylog.org/post/how-to-guide...
Graylog absichern (Beats): go2docs.graylog.org/5-2/setti...
fritzlog.py: gist.github.com/adlerweb/d715...
Transparenz:
Die gezeigten Teile sind freie Software und können von jedem kostenlos genutzt werden. Ich nutze Graylog selbst und hatte zum Zeitpunkt des Videos sonst keinen Kontakt zur Firma hinter dem Produkt.

КОМЕНТАРІ: 10

@BluemediaDE 4 місяці тому

Wenn man schon halbwegs strukturierte Daten hat (wie das JSON im Beispiel mit Tasmota), finde ich Grafana Loki sehr angenehm. Funktioniert vom Konzept her zwar ein bisschen anders, ist dadurch aber deutlich performanter und sehr viel weniger ressourcenintensiv.

@Phettsack 4 місяці тому

Wie man früher(tm) so sagte: No Logs are good logs. Zum Loggen von IoT-Loggings kann das sehr sinnvoll sein da so ein ESP sicher nicht lokal loggen kann. Bleibt die Frage, wohin logt graylog wenn der graylogserver abgesemmelt ist 🙂

@adlerweb 4 місяці тому

Der sollte natürlich entsprechend abgesichert sein. Außerhalb von IoT hat so ein konstrukt den Vorteil, dass ein Angreifer, der einen Server übernimmt, lokale Logs recht einfach löschen oder fälschen kann. Wenn eine Kopie an anderer Stelle besteht wird das schon aufwändiger.

@m-electronics5977 4 місяці тому

Ich fand dieses ganze Graylog immer etwas merkwürdig genauso wie diese Sachen wie elastic-search und kibana. Weil das immer so kompliziert erschien. Aber sinnvoll klingt das schon

@Maxjoker98 4 місяці тому

Hm, ja ok. Kann man schon so machen. Wenn man dann noch ein Docker administrieren möchte. Und zwei Datenbanksysteme. Und eine Java installation. Und 3 Container mehr. Oder man benutzt einfach die Möglichkeiten die systemd mitbringt, journal-remote. Hab das jetzt nicht persönlich mit TB an Daten getestet, aber ein paar GB an Logs sind auf jeden fall OK für systemd, die werden ja immerhin gzip-komprimiert gespeichert und man kann systemd einstellen nach zu vielen tagen/zu vielen GB den Datenmüll zu löschen.

@adlerweb 4 місяці тому

Zumindest Docker ist optional, man kann ja auch nativ installieren. Kann journald-remote denn inzwischen den Ingest per API, von Dateien/Windows-Kisten und von Syslog-Quellen? Als ich mir das zuletzt angesehen habe war das ein ziemlich abgeschottetes Universum und nur geeignet, wenn man ausschließlich Kisten auf systemd-Basis betrieben hatte.

@Maxjoker98 4 місяці тому

@@adlerweb Ja gut, docker ist optional wenn man Postgres und ES selber aufsetzen und administrieren möchte. Systemd nimmt glaube ich auch syslog Meldungen mit. Was ingest per API angeht, das Protokol läuft über HTTP/HTTPS, also auch "eine API"(YMMV). Habe mir da aber keine großen Gedanken drüber gemacht, ich selbst administriere eigentlich nur Systeme mit systemd. Und halt wichtige log-Meldungen(alerts) lokal filtern, sammeln und per email versenden(z.B.ssmtp+freemailer). Die sonstigen "logs"(webserver access logs etc.) die auf einem Server leben sind eigentlich nur für Debugging-Zwecke, sollten nicht zu lange gespeichert werden, und müssen nicht remote gebackupt werden. Was IOT dinge angeht kann ich wenig zu sagen, aber allgemein würde ich "Nutzdaten"(z.B. Temperatur) separat von "Systemlogs"(Fehler, reboots, etc.) verarbeiten, da verschiedene Anforderungen bestehen. Systemlogs von IOT-dingen kann man bestimmt auch in journald bringen(z.B. per syslog), bei den Nutzdaten geht das bestimmt auch ist aber nicht so sinnvoll.

@1lurks 4 місяці тому

Schau dir mal Loki an

@mirdl 4 місяці тому

Nutze auch loki (in unterschiedlichen Ausbaustufen). Von distributed, welches die logs von >500 Nodes bekommt (und diese über Monate speichert), bis hin zum Raspi im homelab ist alles dabei. Grafana Labs wird langsam zu meinem Lieblingshersteller von Infra-Software