Nginx at Apache Logs Monitor na may GoAccess

Subaybayan at suriin ang mga log ng web server na may bukas na mapagkukunan ng real-time log analyzer – GoAccess


Ang pag-troubleshoot sa web ay masaya at maaaring maging nakakabigo kung hindi ka nilagyan ng tamang tool.

Kung sinusuportahan mo ang mabibigat na website ng trapiko pagkatapos ay madalas na kailangan mong pag-aralan at subaybayan ang mga log ng web server para sa pagganap & pagpaplano ng kapasidad Mahalaga ito para sa web engineer.

Manu-manong suriin ang mas maliit na laki ng log, ngunit kung mayroon kang malaking file, hindi magiging masaya na dumaan sa milyun-milyong linya upang mahanap ang mga sukatan.

Iyon ang dahilan kung bakit kailangan mo ng mga tool upang mapadali ang trabaho ng administrator at gawin itong mas produktibo.

GoAccess ay isang magaan ang open-source log analyzer na sumusuporta sa maramihang format ng log at maaaring magamit sa alinman sa mga sumusunod.

  • Nginx
  • Apache HTTP
  • AWS ELB, S3, CloudFront
  • Imbakan ng Google cloud

Ano ang mga sukatan na maaari mong pag-aralan sa GoAccess?

Halos lahat ng iyong nakunan sa mga troso. Upang mabigyan ka ng isang ideya:

  • Kinuha ang oras upang maghatid ng kahilingan
  • Bisita IP, DNS, host
  • Browser ng bisita & Mga detalye ng Operating System
  • 404 hindi natagpuan mga detalye
  • Nangungunang mga kahilingan / bisita
  • Bandwidth
  • Static file
  • Lokasyon ng Geo
  • Status Code
  • at iba pa..

Naghahanap para sa mga sukatan na susubaybayan ng iyong site?

Mabuti!

Sa aling OS maaari mong mai-install?

Ang GoAccess ay nakakuha lamang ng isang dependency – ncurses. Kung maaari mong mai-install, maaari mo itong gamitin sa anumang OS.

Magagamit ito sa pakete ng pamamahagi para sa:

  • Ubuntu
  • Debian
  • Fedora
  • CentOS
  • LibrengBSD / OpenBSD
  • Slackware
  • Arch Linux
  • Gentoo
  • Mac OS
  • Windows sa pamamagitan ng Cygwin

Gayunpaman, maaari ka ring bumuo mula sa mapagkukunan o paggamit sa Docker.

Kung bago ka sa Docker, inirerekumenda kong dalhin ito Docker Mastery course.

Pag-install ng GoAccess sa Ubuntu

  • Mag-login sa server ng Ubuntu na may pribilehiyo sa ugat
  • Gumamit ng apt-get upang mai-install tulad ng sa ibaba

apt-makakuha ng pag-install ng goaccess

Madali.

Pag-install sa CentOS

Mag-log in sa server at magpatupad ng yumcommand

yum install ng goaccess

Pag-install gamit ang Source sa CentOS / Ubuntu

Pag-ibig na pinagsama mula sa mapagkukunan?

Narito ang mga hakbang.

  • I-install ang mga sumusunod na dependencies kung gumagamit CentOS

yum install gcc ncurses-devel glib2-devel geoip-devel tokyocabinet-devel

  • Kung gumagamit Ubuntu

apt-makakuha ng pag-install ng libncursesw5-dev libgeoip-dev gumawa

  • I-download ang pinakabagong package gamit ang wget

wget http://tar.goaccess.io/goaccess-1.2.tar.gz

  • Kunin ang nai-download na file

gunzip –c goaccess-1.2.tar.gz | tar xvf –

  • Pumunta sa bagong nilikha folder, na nakuha mo pagkatapos kunin

cd goaccess-1.2

  • Makipag-ugnay sa utos sa ibaba

./ configure –enable-geoip = pamana – maaring-utf8
gumawa
gumawa ng pag-install

Magaling, na-install mo ang GoAccess at lahat ng naka-set upang pag-aralan ang mga log.

I-verify ang Pag-install

Kapag na-install, magpatupad lamang ng goaccess sa command prompt at dapat itong i-print ang paggamit tulad ng sa ibaba.

[[protektado ng email] goaccess-1.2] # goaccess
GoAccess – 1.2
Paggamit: goaccess [filename] [mga pagpipilian …] [-c] [- M] [- H] [- q] [- d] […]
Ang mga sumusunod na pagpipilian ay maaari ding ibigay sa utos:
Mag-log & Mga Pagpipilian sa Format ng Petsa
  –date-format = – Tukuyin ang format ng petsa ng log. hal.,% d /% b /% Y
  –log-format = – Tukuyin ang format ng log. Kailangang maging panloob
                                    nakatakas, o gumamit ng mga solong quote.
  –time-format = – Tukuyin ang format ng oras ng log. hal.,% H:% M:% S
Mga Pagpipilian sa Interface ng Gumagamit
  -c –config-diyalogo – Prompt log / date / time na window ng pagsasaayos.
  -i –hl-header – Kulay ng highlight ng aktibong panel.
  -m –with-mouse – Paganahin ang suporta sa mouse sa pangunahing dashboard.
  –kulay = – Tukuyin ang mga pasadyang kulay. Tingnan ang manpage para sa higit pa
                                    mga detalye at pagpipilian.
  –scheme ng kulay =<1 | 2 | 3>          – Mga scheme: 1 => Grey, 2 => Berde, 3 => Monokai.
  –html-custom-css = – Tukuyin ang isang pasadyang CSS file sa ulat ng HTML.
  –html-custom-js = – Tukuyin ang isang pasadyang JS file sa ulat ng HTML.
  –html-prefs – – Itakda ang mga kagustuhan sa ulat ng default na HTML.
  –html-ulat-pamagat = – Itakda ang pamagat ng pahina ng ulat ng HTML at header.
  –json-pretty-print – Format ng w / tab ng Form ng JSON & newlines.
  –max-item – Pinakamataas na bilang ng mga item upang ipakita sa bawat panel.
                                    Tingnan ang pahina ng tao para sa mga limitasyon.
  –walang kulay – Huwag paganahin ang kulay na output.
  –mga pangalan ng walang haligi – Huwag sumulat ng mga pangalan ng haligi sa term output.
  –walang-csv-buod – Huwag paganahin ang mga sukatan ng buod sa CSV output.
  –walang pag-unlad – Huwag paganahin ang mga sukatan ng pag-unlad.
  –no-tab-scroll – Huwag paganahin ang pag-scroll sa mga panel sa TAB.
  –walang-html-huling-update – Itago ang huling huling patlang ng HTML.
Mga Pagpipilian sa Server
  –addr = – Tukuyin ang IP address upang magbigkis sa server.
  –daemonize – Tumakbo bilang daemon (kung – pinagana ang-real-time-html).
  –fifo-in = – Landas upang mabasa ang pinangalanang pipe (FIFO).
  –fifo-out = – Landas upang magsulat ng pinangalanang pipe (FIFO).
  –pinagmulan = – Tiyaking nagpapadala ang mga kliyente ng tinukoy na pinanggalingan ng header
                                    sa handshake ng WebSocket.
  –port = – Tukuyin ang port na gagamitin.
  –real-time-html – Paganahin ang tunay na output ng HTML.
  –ssl-cert = – Landas sa sertipiko ng TLS / SSL.
  –ssl-key = – Landas sa pribadong key ng TLS / SSL.
  –ws-url = – URL kung saan tumugon ang server ng WebSocket.
Mga Pagpipilian sa File
  –                               – Ang log file upang mai-parse ay binabasa mula sa stdin.
  -f –log-file = – Landas sa input log file.
  -l –debug-file = – Ipadala ang lahat ng mga mensahe sa debug sa tinukoy
                                    file.
  -p –config-file = – Pasadyang pagsasaayos ng file.
  –hindi wastong-kahilingan = – Hindi wasto ang mga kahilingan sa log sa tinukoy na file.
  –no-global-config – Huwag mag-load ng global na file ng pagsasaayos.
Mga Pagpipilian sa Parse
  -isang -agent-list – Paganahin ang isang listahan ng mga ahente ng gumagamit sa pamamagitan ng host.
  -d –with-output-resolver – Paganahin ang IP resolver sa HTML | JSON output.
  -e –exclude-ip = – Ibukod ang isa o maraming IPv4 / 6. Pinapayagan ang IP
                                    saklaw e.g. 192.168.0.1-192.168.0.10
  -H –http-protocol = – Itakda / i-unset ang proteksyon ng kahilingan sa HTTP kung nahanap.
  -M –http-method = – Itakda / hindi masamang paraan ang kahilingan ng HTTP kung nahanap.
  -o –output = file.html | json | csv – Output alinman sa isang HTML, JSON o isang CSV file.
  -q –no-query-string – Huwag pansinin ang string string ng kahilingan. Pag-alis ng
                                    query string ay maaaring mabawasan ang memorya
                                    pagkonsumo.
  -r –no-term-resolver – Huwag paganahin ang IP resolver sa terminal output.
  –444-as-404 – Tratuhin ang hindi pamantayang code ng katayuan ng 444 bilang 404.
  –4xx-to-unique-count – Magdagdag ng mga error sa client ng 4xx sa mga natatanging bisita
                                    mabilang.
  –all-static-files – Isama ang mga static na file na may string string.
  –mga crawler-lamang – Parse at ipakita lamang ang mga gumagapang.
  –date-spec = – Pagtukoy ng petsa. Posibleng mga halaga: `date`
                                    (default), o `hr`.
  –dobleng-decode – Magbasa ng mga halaga ng dobleng naka-encode.
  –paganahin-panel = – Paganahin ang pag-parse / pagpapakita ng ibinigay na panel.
  –hour-spec = – Oras na tiyak. Posibleng mga halaga: `hr`
                                    (default), o `min` (ikasampu ng isang min).
  –huwag pansinin ang mga crawler – Huwag pansinin ang mga gumagapang.
  –huwag pansinin-panel = – Huwag pansinin ang pag-parse / pagpapakita ng ibinigay na panel.
  –huwag pansinin ang referer = – Huwag pansinin ang isang referer na hindi mabibilang. Mga wild card
                                    pinapayagan. i.e., * .bing.com
  –huwag pansinin ang katayuan = – Huwag pansinin ang pag-parse ng naibigay na code ng katayuan.
  –num-test = – Bilang ng mga linya upang subukan. >= 0 (10 default)
  –proseso-at-exit – Mag-log at lumabas ang Parse nang walang output data.
  –real-os – Ipakita ang mga tunay na pangalan ng OS. e.g, Windows XP, Snow
                                    Leopardo.
  –sort-panel = PANEL, METRIC, ORDER – Pagsunud-sunurin ang panel sa paunang pagkarga. Halimbawa:
                                    –sort-panel = VISITORS, BY_HITS, ASC. Tingnan
                                    pamamahala para sa isang listahan ng mga panel / patlang.
  –static-file = – Magdagdag ng static na extension ng file. e.g .: .mp3.
                                    Ang mga extension ay sensitibo sa kaso.
Mga Pagpipilian sa GeoIP
  -g –std-geoip – Pamantayang database ng GeoIP para sa mas kaunting memorya
                                  pagkonsumo.
  –geoip-database = – Tukuyin ang landas sa file na GeoIP database. i.e.,
                                    GeoLiteCity.dat, GeoIPv6.dat …
Iba pang mga Pagpipilian
  -h –help – Ang tulong na ito.
  -V – Pag-iwas – Impormasyon sa bersyon ng pagpapakita at paglabas.
  -s –storage – Ipakita ang kasalukuyang paraan ng imbakan. hal., B+
                                    Puno, Hash.
  –dcf – Ipakita ang landas ng default config
                                    file kapag hindi ginagamit ang `-p`.
Ang mga halimbawa ay matatagpuan sa pamamagitan ng pagpapatakbo ng ‘man goaccess`.
Para sa karagdagang detalye bisitahin ang: http://goaccess.io
GoAccess Copyright (C) 2009-2016 ni Gerardo Orellana
[[protektado ng email] goaccess-1.2] #

Pag-aaral ng Nginx & Apache kasama ang GoAccess

Ang isa sa mga pinakamabilis na paraan upang pag-aralan ang pag-access.log ay sa pamamagitan ng paggamit-fparameter.

Hal:

goaccess -f access.log

Sa itaas, nagtuturo ako upang buksan ang pag-access sa file.log. Ipapakita nito sa iyo ang pangkalahatang dashboard at ang sumusunod na 15 mga seksyon.

  • Mga natatanging bisita bawat araw
  • Mga hiniling na file
  • Static na mga kahilingan (mga font, imahe, pdf, atbp)
  • Hindi natagpuan (404) mga kahilingan
  • Mga detalye ng IP / host ng bisita
  • OS ng bumisita
  • Mga detalye ng Browser
  • Pamamahagi ng oras
  • Sumangguni
  • Ang katayuan ng HTTP code
  • Lokasyon ng Geo

Kung ang napiling file ay ina-update sa isang real-time pagkatapos ay mapapansin mo ang mga sukatan na mai-update sa terminal. Dito, maaari kang dumaan sa mga sukatan na kailangan mong pag-aralan.

Real-time na Pagsubaybay sa mga HTTP (s)

Hinahayaan ka ng GoAccess na i-redirect ang output sa HTML file na maaari mong gamitin bilang isang pagsubaybay sa real-time. Madaling gamitin ito kapag ayaw mong mag-login sa server sa bawat oras na kailangan mong patunayan ang ilang mga sukatan.

goaccess /var/log/nginx/access.log -o /var/www/geekflare.com/htdocs/real-time.html –log-format = COMBINED – real-time-html

Sa itaas, nai-redirect ko ang output sa real-time.html file na magagamit sa ilalim ng htdocs. Dahil ito ay htdocs, maa-access ko ang file na ito mula sa https://geekflare.com/real-time.html tuwing kailangan kong makita ang mga sukatan.

Isang magandang dashboard!

Gayunpaman, hindi ko inirerekumenda ang paggawa ng ganitong paraan sa paggawa. Sigurado ako na hindi mo nais ang isang tao na basahin ang iyong mga log sa web server at maaaring nais mong ilapat ang sumusunod na paghihigpit.

  • Protektahan ang file gamit ang user at password
  • Payagan lamang ang pag-access mula sa iyong IP
  • Gumamit ng ibang URL gamit ang pasadyang port at ilagay na sa likod ng isang firewall kaya pinapayagan lamang ang mga IP / gumagamit na ma-access

Ang GoAccess ay mukhang malakas na open-source logs analyzer. Ito ay magaan at LIBRE kaya magpatuloy at subukang subukan.

Maaari ka ring maging interesado na tingnan ang cloud-based log analyzer.

TAGS:

  • Pagsubaybay

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map