Žilvinas Sadauskas - Genialu tai, kas paprasta.
« Blogers United arba kaip grybai po lietaus
Gėda pelėda »

Apache logo custom statistika

Universitete gavau dar vieną užduotį, kurią atlikti reikėjo su bash. Reikėjo susigalvoti 5 statistikos pjūvius, kuriais būtų pateikiama tam tikra informacija. Kažkaip viską atidėliojau ir apie terminą sužinojau tik likus 4 valandoms iki jo pabaigos. Kaip bebūtų apmaudu scenarijų nusiunčiau pavėlavęs 20 minučių, todėl gavau nulį balų :) . Na, bet ne pasaulio pabaiga.

  1. #!/bin/bash
  2. clear
  3.  
  4. function help() {
  5. echo "Naudojimas: ./apache-stats.sh -f inputFile -s statistikos_id"
  6. echo "1 - visi unikalus ip"
  7. echo "2 - aktyviausiu desimtukas"
  8. echo "3 - gautu HTTP statusu sarasas ir kiekis"
  9. echo "4 - statistikos, esancios faile, periodas"
  10. echo "5 - populiariausia minute"
  11. }
  12.  
  13. # tikrinam ar visi raktai ir parametrai yra
  15. if [ $# -ne 4 ]; then
  16. help
  17. exit
  18. fi
  19.  
  20. if [ $1 == "-f" ]; then
  21. inputFile=$2;
  22. elif [ $3 == "-f" ]; then
  23. inputFile=$4;
  24. else
  25. help
  26. exit
  27. fi
  28.  
  29. # tikrinam ar failas egzistuoja
  30. if [ ! -e "$inputFile" ]; then
  31. echo "$inputFile neegzistuoja."
  32. exit
  33. #tikrinam ar readable
  34. elif [ ! -r "$inputFile" ]; then
  35. echo "$inputFile failas neturi read leidimu."
  36. exit
  37. #tikrinam ar ne direktorija $1
  38. elif [ ! -f "$inputFile" ]; then
  39. echo "$inputFile yra katalogas. Turi buti failas."
  40. exit
  41. fi
  42.  
  43. if [ $1 == "-s" ]; then
  44. stats_id=$2;
  45. elif [ $3 == "-s" ]; then
  46. stats_id=$4;
  47. else
  48. help
  49. exit;
  50. fi
  51.  
  52. # pasiimam apache logą ir nukerpam pirmą eilutę
  53. dataManip=`sed /newsyslog/d $inputFile`;
  54.  
  55. if [ $stats_id -eq 1 ]; then
  56. # ieskosim unikaliu ip
  57. echo "Unikalus IP"
  58. # awk print komanda sukapoja eilutę pagal tarpus ir paima pirmąjį stulpelį
  59. # sort surūšiuoja stulpelį
  60. # uniq išrenka tik unikalias eilutes. pastaba: prieš vykdant uniq būtina surūšiuoti eilutes,
  61. # nes kitu atveju uniq veikia nekorektiškai
  62. out=`echo "$dataManip" | awk ‘{print $1}’ | sort | uniq`
  63. echo "$out"
  64. elif [ $stats_id -eq 2 ]; then
  65. # aktyviausiu ip desimtukas
  66. echo "Kiekis | IP"
  67. # uniq raktas -c prideda vieną stulpelį, kuriam yra skaičius nurodantis, kiek kartų
  68. # kiekviena eilutė dubliavosi
  69. # sort -r raktas liepia surūšiuoti atvirkštine tvarka, raktas -g liepia rūšiuoti skaičius, taip
  70. # kaip juos rušiuoja žmonės, o ne pagal pirmą simbolį
  71. # head -n 10 paima pirmas 10 rezultato eilučių
  72. out=`echo "$dataManip" | awk ‘{print $1}’ | sort | uniq -c | sort -rg | head -n 10`
  73. echo "$out"
  74. elif [ $stats_id -eq 3 ]; then
  75. # pranesimai
  76. echo "Kiekis | HTTP kodas"
  77. # awk šioje vietoje bando įvykdyti regexp‘ą, kuris suskaldytų eilutę pagal kabutes.
  78. # nelabai korektiškai veikia, nes regexp’as man visada buvo tankus miškas
  79. # print $0 spausdina visą eilutę
  80. # print $6 spausdina prieš tai gauto rezultato šeštąjį stulpelį
  81. # visa kita jau aprašyta aukščiau
  82. out=`
  83. echo "$dataManip" | awk ‘{gsub(/"[^"]*"/,"",$0); print $0}’ | awk ‘{print $6}’ | sort | uniq -c | sort -rg | head -n 7
  84. `
  85. echo "$out"
  86. elif [ $stats_id -eq 4 ]; then
  87. # substr funkcija paima eilutę ir atkerpa dalį jos
  88. out=`
  89. echo "$dataManip" | awk ‘{print substr($4, 2, length($4)-1);}’ | sort
  90. `
  91. nuo=$(echo "$out" | head -n 1);
  92. # tail komanda paima tam tikra eilučių kiekį iš rezultatų pabaigos
  93. iki=$(echo "$out" | tail -n 1);
  94. echo "Statistika rodoma nuo $nuo iki $iki"
  95. elif [ $stats_id -eq 5 ]; then
  96. # kuria minute buvo jungtasi daugiausiai kartu
  97. # sed komanda suranda dvitaškius ir pakeičia juos tarpais, taip paruošdamas dirvą awk
  98. # komandai print
  99. echo "Kiekis | Minute"
  100. out=`
  101. echo "$dataManip" | awk ‘{print $4}’ | sed ’s/:/ /g’ | awk ‘{print $3}’ | sort -rg | uniq -c | head -n 1
  102. `
  103. echo "$out"
  104. fi

Na, ne perliukas, bet manau vis tiek kam nors bus naudinga.



Paskelbta Wednesday, November 21st, 2007 20:42. Priskirta kategorijoms Bash, Programavimas. Ačiū, kad rašote komentarus, arba paliekate pėdsaką savo svetainėje.

9 Responses to “Apache logo custom statistika”

  1. kubikas::lt Says:
    November 23rd, 2007 at 12:17

    ech tas Bukauskas ;-)

  2. Žilvinas Sadauskas Says:
    November 23rd, 2007 at 12:21

    Aš sakyčiau griežtas, bet teisingas :) . Rašiau pas jį kursinį, viskas normaliai. Manau ir dėl bakalaurinio eisiu pas jį :)

  3. kubikas::lt Says:
    November 23rd, 2007 at 12:30

    O tai tu pala 4akursis? :)

  4. Žilvinas Sadauskas Says:
    November 23rd, 2007 at 12:34

    Jap. Neturėjau Unix’o 3-iam kurse, tai dabar pasirinkau :)

  5. kubikas::lt Says:
    November 23rd, 2007 at 12:36

    Tai mes dar ir bendrakursiai reiškias :) et… aš dar univere šiais metais nebuvau… :(

  6. Žilvinas Sadauskas Says:
    November 23rd, 2007 at 12:49

    Visai įmanoma. Aš tai po grupių išskirstymo trečiam kurse, net ne visus grupiokus pažįstu, o ką jau kalbėt apie kursiokus :D . Universitete irgi tik epizodiškai pasirodau, bet kadangi užduotis darau pats, tai gaunu ganėtinai daug. Šiaip esu patenkintas MIF’u, nors daug kas ir rėkia, kad lieva lieva, nieko neišmoko. Kas nenori mokytis, tas ir neišmoksta.

  7. kubikas::lt Says:
    November 23rd, 2007 at 13:00

    Aš tiesa pasakius, vienas iš tų, kur nieko neišmokai :) praktiškai nieko naujo nepasakė :) viskam yra google. amen :)
    ps. tu kurioj grupėj? :)

  8. kubikas::lt Says:
    November 23rd, 2007 at 13:01

    Beje pasiredaguok savo templeitus ale Single.php :-) dabar viršuj tas “Travelogue Entry” kažkaip keistas žiūrisi :)

  9. Žilvinas Sadauskas Says:
    November 23rd, 2007 at 13:13

    Tai aišku viskas yra google, bet reikia sugalvot tai susirasti. O universitetas priverčia tave pasidomėt tam tikrais klausimais ir pasigilinti daugiau negu paviršutiniškai. Long live MIF. huray huray! :)

Leave a Reply

counter