Administrer Logstash pipelines i Kibana

Sådan administrere du Logstash Pipelines i Kibana

Logstash er en kraftfuld databehandlingspipeline, der indsamler, transformerer og sender data til destinationer som Elasticsearch.
Kibana tilbyder en praktisk måde at konfigurere og administrere dine Logstash-pipelines, så det er nemmere at se og konfigurere Logstash pipelines.

Bemærk!:  Dette er en subscription feature. Så du skal have en license til Elasticsearch for at kunne bruge Logstash pipeline konfiguration fra Kibana.

1. Aktiver Pipeline Management i Logstash

Når du aktivere pipeline management i Kibana, vil du ikke længere kunne benytte pipelline configuration via yaml på Logstash serveren. Så inden du går i gang skal du sørge for at du har oprettet eksisterende pipellines i Kibana. Ellers kan du risikere at miste data.

For at kunne administrere Logstash pipelines i Kibana, skal du aktivere pipeline management i Logstash-konfigurationen.

1. Åbn Logstash-konfigurationsfilen (logstash.yml), og tilføj følgende:

   xpack.management.enabled: true
   xpack.management.elasticsearch.hosts: ["http://localhost:9200"]
   xpack.management.logstash.poll_interval: 5s
   xpack.management.pipeline.id: ["mypipeline"]
   xpack.management.elasticsearch.username: logstash_user
   xpack.management.elasticsearch.password: supertophemmeligkode
   

2. Genstart Logstash for at anvende ændringerne:

   systemctl restart logstash

2. Opret en pipeline i Kibana

Hvis du har arbejdet med pipelines i Logstash før, så vil opsætningen via Kibana også virker bekendt.

Alt hvad der nomalt defineres i en pipeline YAML fil vil du blog skulle bruge på helt samme måde i Kibana.

1. Gå til Kibana > Management > Logstash Pipelines
2. Klik på Create Pipeline
3. Giv din pipeline et navn, f.eks. mypipeline
4. Tilføj en pipeline-konfiguration. Her er et eksempel på en pipeline, der læser JSON-data fra en fil, filtrerer dem og sender dem til Elasticsearch:

   input {
       file {
           path => "/var/log/data.json"
           start_position => "beginning"
           codec => "json"
       }
   }
   
   filter {
       mutate {
           rename => { "old_field" => "new_field" }
       }
   }
   
   output {
       elasticsearch {
           hosts => ["http://localhost:9200"]
           index => "mit_index"
       }
   }

Konklusion

Med Logstash Pipeline Management i Kibana får du en intuitiv måde at administrere dine pipelines på uden at skulle redigere konfigurationsfiler manuelt. Dette gør det lettere at tilføje, ændre og overvåge dine databehandlingsflows i Elasticsearch.

Du kan finde Elastic dokumentationen her.