Login
Newsletter
Werbung

Do, 4. Februar 2016, 15:00

Suche und Analyse in Echtzeit mit Elasticsearch und dem Elastic Stack

Mit dem Elastic Stack kann man in Echtzeit die wichtigen Informationen aus jedem Datensatz herauslesen, ungeachtet seiner Größe. Dieser Artikel beschreibt die Einrichtung der Software.

Achtsamkeit und die Kunst der Datenpflege

Sobald man sich durch das schnelle Tempo der modernen Zeit gestresst und überfordert fühlt, sagen uns die immer beliebter werdenden Lehren der Achtsamkeit, dass wir einen Schritt zurücktreten, und alles, was um uns herum passiert, beobachten und analysieren sollen. Wir sollen damit aufhören, alles kontrollieren und beeinflussen zu wollen. Das heißt konkret: Begeben Sie sich lieber auf den Randstreifen einer viel befahrenen Autobahn und beobachten Sie den Verkehr von dort aus, anstatt sich auf der Mittelspur aufzuhalten und ihn mitten im Geschehen zu lenken.

Der Elastic Stack ist das ultimative Tool, um die Lehren der Achtsamkeit in moderne IT-Abteilungen zu bringen...

Alle Unternehmen produzieren schneller immer mehr Daten. Da kann es schon mal passieren, dass Entwickler und Systemadministratoren unter Druck geraten und sich überfordert fühlen. Aufgrund der schnellen Datengenerierung ist der Einsatz traditioneller relationaler und schreibgeschützter Datenbanken im Offline-Modus für die Analyse schlicht und ergreifend unpraktisch.

Doch die Einblicke aus diesen wachsenden Daten sind oft unerlässlich, damit Unternehmen ihre Ziele erreichen. Mit leistungsstarken Analysetools können sie Probleme lösen und die Konkurrenz hinter sich lassen.

Mit dem Elastic Stack können Sie die wichtigen Informationen aus jedem Datensatz herauslesen, ungeachtet seiner Größe. Konzentrieren Sie sich auf die Überwachung und Analyse der Daten, anstatt die Datenausbreitung zu kontrollieren und Informationen mit Tools zu verwalten, die schlichtweg nicht mehr dafür geeignet sind.

Ganz gleich, ob SQL, NoSQL, unstrukturierte Daten, ein Gewirr aus verschiedenen Dokumenten oder Log-Dateien, Sie können fast alles in den Elastic Stack werfen, um genau das herauszufinden, was Sie wissen möchten, und beeindruckende Ergebnisse zu erzielen. Eines haben fast alle Elastic-Nutzer gemeinsam: Wenn sie einmal damit angefangen haben, finden sie oft viele weitere Situationen, in denen der Einsatz viele praktische Vorteile bietet.

Was ist der Elastic Stack?

Die vier Open-Source-Projekte Elasticsearch, Logstash, Kibana und Beats, der jüngste Neuzugang, sind gemeinsam unter dem Begriff Elastic Stack bekannt. Der Elastic Stack wird mit kommerziellen Plugins erweitert – Shield (Sicherheit), Watcher (Benachrichtigungen) und Marvel (Überwachung) erweitern die Sicherheits- und Benachrichtigungsfunktionen entsprechend. Zusammen bieten sie ein vollumfängliches Tool für Datenanalysen in Echtzeit.

Elasticsearch basiert auf Apache Lucene. Lucene ist eine leistungsstarke Programmbibliothek zur Volltextsuche. Die Kombination aus Skalierbarkeit, Agilität und Performance in einem System unterscheidet Elasticsearch von anderen Systemen. Elasticsearch basiert auf einer RESTful-Architektur, ist dokumentenorientiert/-basiert und kann alles, was Sie möchten, als JSON speichern. Dadurch ist es so leistungsstark, einfach und flexibel.

Logstash wickelt die Datenaufnahme in Elasticsearch ab. Es wurde, wie der Name bereits vermuten lässt, für den Import von Log-Dateien entwickelt und bietet mittlerweile mehr als 200 Plugins, wodurch Sie fast jede Datenquelle verbinden und in das zentrale Analysesystem einspeisen können.

Kibana visualisiert einfache Einblicke sofort in Form von aussagekräftigen Grafiken, die zu individuellen Dashboards kombiniert werden können.

Das erst kürzlich übernommene Projekt Beats ermöglicht es Ihnen, auf operativer Ebene noch mehr aus Daten herauszuholen. Derzeit sind drei Beats verfügbar und viele weitere geplant: Topbeat dient der Zusammenstellung von CPU, Speicherplatz und anderer Prozesse, Packetbeat stellt Echtzeit-Analysen für das Internet, Datenbanken und andere Netzwerkprotokolle bereit und Filebeat kümmert sich um die Weiterleitung von Log-Dateien.

Neben diesen Open-Source-Produkten stehen eine Reihe weiterer kommerzieller Produkte für Sicherheit (Shield), Überwachung (Marvel) und Benachrichtigung (Watcher) zur Verfügung, mit denen sich der Stack optimieren lässt. Elasticsearch bildet dabei das Herzstück und ist die Engine für die Suche und die Analyse von Daten.

Eine weitere Möglichkeit, vom Elastic Stack und zudem von der einfachen Komplettverwaltung in der Cloud zu profitieren, ist die gehostete und verwaltete Elasticsearch-Lösung Found. Die Implementierung des Elastic Stacks auf Found ist ganz unkompliziert. Found Premium enthält die zuvor erwähnten kommerziellen Plugins. Sobald das Found-Cluster gestartet wurde, können Sie einfach die Ausgabe von Logstash auf Elasticsearch in Ihrer Logstash-Pipeline so konfigurieren, dass die Hosts/der Host im Found-Cluster sowie der Benutzername und das Passwort aus Shield verwendet werden, und dann mit der Indexierung starten.

Tausende Organisationen weltweit, darunter Netflix, NASA, CERN, Facebook, GitHub und Stackoverflow, setzen Elasticsearch ein, um die Einschränkungen ihrer alten Lösungen zu umgehen und die neuen Anforderungen der agilen Datenverarbeitung und -speicherung zu bewältigen.

Kommentare (Insgesamt: 5 || Alle anzeigen )
Pro-Linux
Pro-Linux @Facebook
Neue Nachrichten
Werbung