Phenquestions
Dažādu infrastruktūru žurnālu uzraudzība un analīze reāllaikā var būt ļoti garlaicīgs darbs. Nodarbojoties ar tādiem pakalpojumiem kā tīmekļa serveri, kas pastāvīgi reģistrē datus, process var būt ļoti sarežģīts un gandrīz neiespējams.
Tā kā zināšanas par to, kā reāllaikā uzraudzīt, vizualizēt un analizēt žurnālus, var palīdzēt izsekot un novērst problēmas un uzraudzīt aizdomīgas sistēmas darbības.
Šajā apmācībā tiks apspriests, kā jūs varat izmantot vienu no labākajām reāllaika žurnālu kolekcijām un analizēšanas rīkiem - ELK. Izmantojot ELK, kas plaši pazīstams kā Elasticsearch, Logstash un Kibana, jūs varat reāllaikā apkopot, reģistrēt un analizēt datus no apache tīmekļa servera.
Kas ir ELK kaudze?
ELK ir akronīms, ko lieto, lai atsauktos uz trim galvenajiem atvērtā pirmkoda rīkiem: Elasticsearch, Logstash un Kibana.
Elasticsearch ir atvērtā koda rīks, kas izstrādāts, lai atrastu atbilstību lielā datu kopu kolekcijā, izmantojot vaicājumu valodu un veidu atlasi. Tas ir viegls un ātrs rīks, kas spēj viegli apstrādāt terabaitus datu.
Logstash dzinējs ir saite starp servera pusi un Elasticsearch, kas ļauj jums apkopot datus no avotu atlases uz Elasticsearch. Tas piedāvā jaudīgas API, kas ir viegli integrējamas ar lietojumprogrammām, kas izstrādātas dažādās programmēšanas valodās.
Kibana ir pēdējais ELK kaudzes gabals. Tas ir datu vizualizācijas rīks, kas ļauj vizuāli analizēt datus un ģenerēt izpratnes pārskatus. Tas piedāvā arī diagrammas un animācijas, kas var jums palīdzēt mijiedarboties ar jūsu datiem.
ELK kaudze ir ļoti spēcīga un var paveikt neticamas datu analīzes lietas.
Lai gan dažādi jēdzieni, kurus mēs apspriedīsim šajā apmācībā, ļaus jums labi izprast ELK kaudzi, lai iegūtu papildinformāciju, izlasiet dokumentāciju.
Elasticsearch: https: // linkfy.to / Elasticsearch-Reference
Logstash: https: // linkfy.to / LogstashReference
Kibana: https: // linkfy.uz / KibanaGuide
Kā instalēt Apache?
Pirms sākam instalēt Apache un visas atkarības, ir labi atzīmēt dažas lietas.
Mēs pārbaudījām šo apmācību Debian 10.6, bet tas darbosies arī ar citiem Linux izplatījumiem.
Atkarībā no sistēmas konfigurācijas jums ir nepieciešamas sudo vai root atļaujas.
ELK steku savietojamība un lietojamība var atšķirties atkarībā no versijām.
Vispirms ir jānodrošina, lai jūsu sistēma būtu pilnībā atjaunināta:
sudo apt-get atjauninājumssudo apt-get jauninājums
Nākamā komanda ir apache2 tīmekļa servera instalēšana. Ja vēlaties instalēt minimālu apache, noņemiet dokumentāciju un utilītprogrammas no zemāk esošās komandas.
sudo apt-get install apache2 apache2-utils apache2-doc -ysudo pakalpojuma apache2 sākums
Tagad jūsu sistēmā vajadzētu darboties Apache serverim.
Kā instalēt Elasticsearch, Logstash un Kibana?
Tagad mums jāinstalē ELK kaudze. Katru rīku mēs instalēsim atsevišķi.
Elasticsearch
Sāksim ar Elasticsearch instalēšanu. Mēs to izmantosim, lai to instalētu, taču stabilu laidienu varat iegūt no oficiālās lejupielādes lapas šeit:
https: // www.elastīgs.co / downloads / elasticsearch
Elasticsearch darbībai nepieciešama Java. Par laimi, jaunākajai versijai ir pievienota OpenJDK pakete, novēršot problēmu ar manuālu instalēšanu. Ja jums jāveic manuāla instalēšana, skatiet šo resursu:
https: // www.elastīgs.co / guide / lv / elasticsearch / reference / current / setup.html # jvm-version
Nākamajā solī mums ir jālejupielādē un jāinstalē oficiālā Elastic APT parakstīšanas atslēga, izmantojot komandu:
wget -qO - https: // artefakti.elastīgs.co / GPG-KEY-elasticsearch | sudo apt-key pievienot -
Pirms turpināt, pirms instalēšanas var būt nepieciešama pakete apt-transport-https (nepieciešama pakotnēm, kas tiek piegādātas virs https).
sudo apt-get instalēt apt-transport-httpsTagad pievienojiet avotu apt repo informāciju.sarakstā.d fails.
atbalss “deb https: // artefakti.elastīgs.co / paketes / 7.x / apt stabila galvenā ”| sudo tee / etc / apt / sources.sarakstā.d / elastīgs-7.x.sarakstā
Pēc tam atjauniniet pakotņu sarakstu savā sistēmā.
sudo apt-get atjauninājumsInstalējiet Elasticsearch, izmantojot zemāk esošo komandu:
sudo apt-get install elasticsearchPēc Elasticsearch instalēšanas sāciet un iespējojiet sāknēšanu sāknēšanas laikā ar komandām systemctl:
sudo systemctl daemon-reloadsudo systemctl iespējot elasticsearch.apkalpošana
sudo systemctl sākt elasticsearch
Pakalpojuma sākšana var aizņemt kādu laiku. Pagaidiet dažas minūtes un apstipriniet, ka pakalpojums darbojas un darbojas ar komandu:
sudo systemctl statuss elasticsearch.apkalpošanaIzmantojot cURL, pārbaudiet, vai Elasticsearch API ir pieejams, kā parādīts zemāk esošajā JSON izvadē:
čokurošanās -X GET "vietējais saimnieks: 9200 /?glīts ""name": "debian",
"cluster_name": "elasticsearch",
"cluster_uuid": "VZHcuTUqSsKO1ryHqMDWsg",
"versija":
"numurs": "7.10.1 ",
"build_flavor": "noklusējums",
"build_type": "deb",
"build_hash": "1c34507e66d7db1211f66f3513706fdf548736aa",
"build_date": "2020-12-05T01: 00: 33.671820Z ",
"build_snapshot": nepatiesa,
"lucene_version": "8.7.0 ",
"minimālais vadu_saderības_versija": "6.8.0 ",
"minimum_index_compatibility_version": "6.0.0-beta1 "
,
“Tagline”: “Jūs zināt, meklēšanai”
Kā instalēt Logstash?
Instalējiet logstash pakotni, izmantojot komandu:
sudo apt-get install logstashKā instalēt Kibana?
Lai instalētu kibanu, ievadiet zemāk esošo komandu:
sudo apt-get install kibanaKā konfigurēt Elasticsearch, Logstash un Kibana?
Lūk, kā konfigurēt ELK kaudzīti:
Kā konfigurēt Elasticsearch?
Programmā Elasticsearch dati tiek sakārtoti indeksos. Katram no šiem indeksiem ir viena vai vairākas lauskas. Shard ir patstāvīga meklētājprogramma, ko izmanto, lai apstrādātu un pārvaldītu indeksus un vaicājumus apakškopai Elasticsearch klasterī. Skaidrs darbojas kā Lucene indeksa eksemplārs.
Noklusējuma Elasticsearch instalācija katram indeksam izveido piecas lauskas un vienu kopiju. Tas ir labs mehānisms, kad to ražo. Tomēr šajā apmācībā mēs strādāsim ar vienu lausku un bez kopijām.
Vispirms izveidojiet indeksa veidni JSON formātā. Failā mēs iestatīsim lausku skaitu vienai un nullei kopiju indeksu nosaukumu saskaņošanai (izstrādes vajadzībām).
Programmā Elasticsearch indeksa veidne attiecas uz to, kā jūs uzdodat Elasticsearch izveidot indeksu izveides procesā.
Json veidnes failā (index_template.json), ievadiet šādas instrukcijas:
"veidne":"*",
"iestatījumi":
"rādītājs":
"Skaidru skaits": 1,
"Repliku skaits": 0
Izmantojot cURL, veidnei izmantojiet json konfigurāciju, kas tiks piemērota visiem izveidotajiem indeksiem.
čokurošanās -X PUT http: // localhost: 9200 / _template / defaults -H 'Content-Type: application / json' -d @index_template.json"atzīts": patiess
Kad tas tiks izmantots, Elasticsearch atbildēs ar apstiprinātu: patiesu paziņojumu.
Kā konfigurēt Logstash?
Lai Logstash apkopotu žurnālus no Apache, mums tas jākonfigurē, lai tas skatītos visas izmaiņas žurnālos, apkopojot, apstrādājot un pēc tam saglabājot žurnālus Elasticsearch. Lai tas notiktu, jums ir jāiestata žurnāla savākšanas ceļš Logstash.
Sāciet, izveidojot Logstash konfigurāciju failā / etc / logstash / conf.d / apache.konf
ievadefails
ceļš => '/ var / www / * / logs / access.žurnāls
type => "apache"
filtrs
grok
match => "message" => "% COMBINEDAPACHELOG"
izvade
elasticsearch
Tagad pārliecinieties, vai iespējojat un sākat logstash pakalpojumu.
sudo systemctl iespējot logstash.apkalpošanasudo systemctl sākt logstash.apkalpošana
Kā iespējot un konfigurēt Kibana?
Lai iespējotu Kibana, rediģējiet galveno .yml konfigurācijas fails atrodas mapē / etc / kibana / kibana.yml. Atrodiet šos ierakstus un atsauciet tos no komentāriem. Kad tas ir izdarīts, izmantojiet systemctl, lai palaistu pakalpojumu Kibana.
serveris.osta: 5601serveris.resursdators: "localhost"
sudo systemctl iespējot kibanu.service && sudo systemctl start kibana.apkalpošana
Kibana izveido indeksu modeļus, pamatojoties uz apstrādātiem datiem. Tādējādi jums ir jāsavāc žurnāli, izmantojot Logstash, un tie jāglabā vietnē Elasticsearch, kuru Kibana var izmantot. Izmantojiet čokurošanos, lai ģenerētu žurnālus no Apache.
Kad esat saņēmis žurnālus no Apache, pārlūkprogrammā palaidiet Kibana, izmantojot adresi http: // localhost: 5601, kas palaidīs Kibana rādītāja lapu.
Galvenokārt jums jākonfigurē rādītāja modelis, ko Kibana izmanto žurnālu meklēšanai un ziņojumu ģenerēšanai. Pēc noklusējuma Kibana izmanto logstash * indeksa modeli, kas atbilst visiem Logstash ģenerētajiem noklusējuma indeksiem.
Ja jums nav konfigurācijas, noklikšķiniet uz Izveidot, lai sāktu žurnālu skatīšanu.
Kā apskatīt Kibana žurnālus?
Turpinot izpildīt Apache pieprasījumus, Logstash apkopos žurnālus un pievienos tos Elasticsearch. Šos žurnālus varat apskatīt Kibanā, kreisajā izvēlnē noklikšķinot uz opcijas Atklāt.
Cilne Atklājiet ļauj apskatīt žurnālus, kad serveris tos ģenerē. Lai skatītu informāciju par žurnālu, vienkārši noklikšķiniet uz nolaižamās izvēlnes.
Izlasiet un saprotiet datus no Apache žurnāliem.
Kā meklēt žurnālus?
Kibana saskarnē atradīsit meklēšanas joslu, kas ļauj meklēt datus, izmantojot vaicājumu virknes.
Piemērs: statuss: aktīvs
Uzziniet vairāk par ELK vaicājumu virknēm šeit:
https: // www.elastīgs.co / guide / lv / elasticsearch / reference / 5.5 / query-dsl-query-string-query.html # query-string-syntax
Tā kā mums ir darīšana ar Apache žurnāliem, viena iespējamā atbilstība ir statusa kods. Tādējādi meklējiet:
atbilde: 200Šis kods meklēs žurnālus ar statusa kodu 200 (OK) un parādīs to Kibana.
Kā vizualizēt žurnālus?
Kibānā var izveidot vizuālos informācijas paneļus, atlasot cilni Vizualizēt. Atlasiet izveidojamā informācijas paneļa veidu un atlasiet meklēšanas indeksu. Testēšanas vajadzībām varat izmantot noklusējumu.
Secinājums
Šajā ceļvedī mēs apspriedām pārskatu par to, kā izmantot ELK kaudzīti žurnālu pārvaldīšanai. Tomēr šajā rakstā var aplūkot vairāk šo tehnoloģiju. Mēs iesakām izpētīt paši.
