Header Ads Widget

Ticker

6/recent/ticker-posts

Cómo configurar Elasticsearch Fluentd y Kibana en Ubuntu 18.04

En este blog, analizaremos la instalación y configuración de Elasticsearch, Fluentd y Kibana.
¿Alguna vez se ha quedado atascado con su aplicación comportándose de manera caprichosa y, desafortunadamente, sin registros significativos en absoluto? O tener cientos y miles de flujos de registros bombardeando continuamente, lo que hace que sea aún más difícil de comprender.

Estos escenarios, tan frecuentes, marcan la importancia de registros bien ordenados y legibles en el desarrollo de cualquier aplicación. Incluso la ausencia de funciones de clasificación y filtrado podría hacer que la depuración y el seguimiento de problemas sean una tarea tediosa. Además, una aplicación podría ser una multitud de microservicios, por lo que acceder a sus registros en diferentes ubicaciones podría ser un enfoque agitado.
Para el rescate, hay formas de administrar los registros de una manera más organizada. EFK Stack es una de las soluciones de registro.

Elasticsearch, Fluentd y Kibana

efk-1
Elasticsearch, Fluentd y Kibana comprenden una potente pila de registro y monitoreo que permite la administración, visualización y depuración de registros más fácilmente de una manera interactiva y centralizada. Permite a los usuarios comprender datos de registro pesados ​​en tiempo real al permitir ordenar y filtrar por tiempo, categoría, incidente, índice, etc.
Elasticsearch es un motor de búsqueda analítico. Permite la búsqueda de datos textuales, numéricos, geoespaciales, estructurados y no estructurados. Elasticsearch junto con Kibana , que es una poderosa herramienta de visualización, proporciona una legibilidad deseable de los registros. Con una interfaz web interactiva, kibana ayuda a administrar, clasificar y visualizar datos de elasticsearch. El tercer componente de esta pila, Fluentd , es un recolector y expedidor de datos. Recopila registros de una fuente, los manipula y luego los envía a un destino. El destino podría ser otra búsqueda fluida o elástica o cualquier otro objetivo.
Pocas personas prefieren ELK (Elasticsearch, Logstash y Kibana) sobre EFK. Tanto logstash como fluentd son capaces de realizar trabajos de envío de registros. Puede preferir el más adecuado para su aplicación.
Este artículo solo cubrirá la instalación y configuración de la pila EFK en el sistema operativo Ubuntu 18.04. La configuración de EFK para visualizar registros se discutirá en blogs posteriores. Aquí, implementaremos la arquitectura de dos niveles del cliente servidor. Fluentd se instalará en el servidor que se supervisará (donde se almacenan los registros) y la pila EFK se instalará en un servidor separado. El cliente de Fluentd luego enviará los datos al servidor EFK. El lado del cliente fluentd se comunicará con el lado del servidor fluentd a través del puerto tcp 24224. Luego, el lado del servidor fluentd transferirá datos en elasticsearch sobre el puerto 9200 tcp presente en el mismo servidor. El td-agent del lado del servidor usa fluent-plugin-elasticsearch para transferir datos al servidor de elasticsearch.
Comencemos con la instalación de Elasticsearch, Fluentd y Kibana en el lado del servidor y la instalación de Fluentd en el lado del cliente:

Instalación de Elasticsearch

sudo su
apt update
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
sudo apt-get install apt-transport-https
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
sudo apt-get update && sudo apt-get install elasticsearch
sudo update-rc.d elasticsearch defaults 95 10
service elasticsearch restart
service elasticsearch status
tail -f /var/log/elasticsearch/elasticsearch.log
curl localhost:9200

Instalación de Kibana

sudo apt-get update && sudo apt-get install kibana
sudo update-rc.d kibana defaults 95 10
sudo -i service kibana start
service kibana status

Instalación de Fluentd

A continuación, instalaremos TD Agent, que es una distribución estable y mucho más simple de Fluentd.
apt update
curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-bionic-td-agent3.sh | sh
td-agent-gem install fluent-plugin-elasticsearch
chown -R td-agent: /var/log/td-agent/
sudo systemctl restart td-agent.service
sudo systemctl status td-agent.service
sudo update-rc.d td-agent defaults 95 10

sudo /bin/systemctl daemon-reload
Además, puede repetir los pasos de instalación de td-agent, mencionados anteriormente, en el servidor del Cliente de la misma manera.
Ahora agregando configuración en td-agent del lado del servidor para escuchar en el puerto 24224 desde cualquier lugar.
cd /etc/td-agent/
mv td-agent.conf td-agent.conf-default
nano td-agent.conf
Agregue las siguientes líneas en el archivo td-agent, guárdelo y reinicie el servidor td-agent.
mkdir /etc/td-agent/conf.d
/etc/init.d/td-agent restart
La pila EFK ahora está instalada en el servidor y fluentd (td-agent) en el cliente. Asegúrese de que todos los servicios se ejecuten sin problemas y que los agentes td del lado del servidor-cliente puedan comunicarse entre sí a través del puerto 24224.

Sin mencionar, el siguiente paso sería comenzar a configurar el cliente con fluidez para capturar y enviar registros de cliente a servidor. También configuraremos elasticsearch y kibana con índices protegidos con contraseña. Además de esto, configuraremos Nginx como un servidor proxy inverso para ejecutar kibana sobre el protocolo http / https. Cubriremos todos estos puntos en nuestro próximo blog.
Manténganse al tanto.

Publicar un comentario

0 Comentarios