yahi

yahi е универсален дневник анализатор предоставяне подразбиране екстрактори за Apache / lighttpd.
<Силен> използване на команден ред
Пример за данни анализирани с yahi: http://wwwstat.julbox.fr/
Простият използване е:
speed_shoot -G / ЮЕсАр / местни / данни / GeoIP / Var / WWW / Apache / достъп * дневник
той ще се върне с JSON във формата:
{
& Nbsp; "by_date": {
& Nbsp; "05.03.2012": 11
& Nbsp;},
& Nbsp; "total_line": 11,
& Nbsp; "ip_by_url": {
& Nbsp; "/ favicon.ico": {
& Nbsp; "192.168.0.254": 2,
& Nbsp; "192.168.0.35": 2
& Nbsp;},
& Nbsp; "/": {
& Nbsp; "74.125.18.162": 1,
& Nbsp; "192.168.0.254": 1,
& Nbsp; "192.168.0.35": 5
& Nbsp;}
& Nbsp;},
& Nbsp; "by_status": {
& Nbsp; "200": 7,
& Nbsp; "404": 4
& Nbsp;},
& Nbsp; "by_dist": {
& Nbsp; "неизвестен": 11
& Nbsp;},
& Nbsp; "bytes_by_ip": {
& Nbsp; "74.125.18.162": 151,
& Nbsp; "192.168.0.254": 489,
& Nbsp; "192.168.0.35": 1093
& Nbsp;},
& Nbsp; "by_url": {
& Nbsp; "/ favicon.ico": 4,
& Nbsp; "/": 7
& Nbsp;},
& Nbsp; "by_os": {
& Nbsp; "неизвестен": 11
& Nbsp;},
& Nbsp; "week_browser": {
& Nbsp; "3": {
& Nbsp; "неизвестен": 11
& Nbsp;}
& Nbsp;},
& Nbsp; "by_referer": {
& Nbsp; "-": 11
& Nbsp;},
& Nbsp; "by_browser": {
& Nbsp; "неизвестен": 11
& Nbsp;},
& Nbsp; "by_ip": {
& Nbsp; "74.125.18.162": 1,
& Nbsp; "192.168.0.254": 3,
& Nbsp; "192.168.0.35": 7
& Nbsp;},
& Nbsp; "by_agent": {
& Nbsp; "Mozilla / 5.0 (X11; Ubuntu; Linux x86_64; RV: 12.0) Gecko / 20100101 Firefox / 12.0, GZIP (GFE) (чрез translate.google.com)": 1,
& Nbsp; "Mozilla / 5.0 (X11; Ubuntu; Linux x86_64; RV: 12.0) Gecko / 20100101 Firefox / 12.0": 10
& Nbsp;},
& Nbsp; "by_hour": {
& Nbsp; "9": 3,
& Nbsp; "10": 4,
& Nbsp; "11": 1,
& Nbsp; "12": 3
& Nbsp;},
& Nbsp; "по страни": {
& Nbsp; "": 10,
& Nbsp; "US": 1
& Nbsp;}
}
Ако използвате:
speed_shoot -F CSV -G / ЮЕсАр / местни / данни / GeoIP / Var / WWW / Apache / достъп * дневник
Вашият резултат е:
by_date, 2012-5-3,11
total_line, 11
ip_by_url, / favicon.ico, 192.168.0.254,2
ip_by_url, / favicon.ico, 192.168.0.35,2
ip_by_url, /, 74.125.18.162,1
ip_by_url, /, 192.168.0.254,1
ip_by_url, /, 192.168.0.35,5
by_status, 200,7
by_status, 404,4
by_dist, непозната, 11
bytes_by_ip, 74.125.18.162,151
bytes_by_ip, 192.168.0.254,489
bytes_by_ip, 192.168.0.35,1093
by_url, / favicon.ico, 4
by_url, /, 7
by_os, непозната, 11
week_browser, 3, непозната, 11
by_referer, -, 11
by_browser, непозната, 11
by_ip, 74.125.18.162,1
by_ip, 192.168.0.254,3
by_ip, 192.168.0.35,7
by_agent, "Mozilla / 5.0 (X11; Ubuntu; Linux x86_64; RV: 12.0) Gecko / 20100101 Firefox / 12.0, GZIP (GFE) (чрез translate.google.com)", 1
by_agent, Mozilla / 5.0 (X11; Ubuntu; Linux x86_64; RV: 12.0) Gecko / 20100101 Firefox / 12.0,10
by_hour, 9,3
by_hour, 10,4
by_hour, 11,1
by_hour, 12,3
по страни ,, 10
по страни, САЩ, 1
Ами, предполагам, че не работи, защото първо трябва да донесе файл GeoIP данни:
Wget О- "http://www.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz" | zcat> /usr/local/data/GeoIP.dat
Разбира се, това е базата данни geoLite, аз не включва данните в пакета от GeoIP трябва да бъдат актуализирани често, за да остане вярна.
Път по подразбиране за GeoIP е данни / GeoIP.dat
<Силен> Използвай като скрипт
скорост стреля в действителност е образец на това как да се yahi използва като модул:
#! / ЮЕсАр / хамбар / ENV питон
от archery.bow внос Hankyu като _dict
от yahi внос прорез, стреля
от DateTime внос DateTime
контекст = прорез ()
date_formater = ламбда DT: "% s-% S-% S"% (dt.year, dt.month, dt.day)
context.output (
& Nbsp; стреля (
& Nbsp; контекст,
& Nbsp; ламбда данни: _dict ({
& Nbsp; "по страни": _dict ({данни ['_ държава "]: 1}),
& Nbsp; "by_date": _dict ({date_formater (данни ['_ DateTime "]): 1}),
& Nbsp; "by_hour": _dict ({. Данни ['_ DateTime "] часа: 1}),
& Nbsp; "by_os": _dict ({данни ['_ os_name "]: 1}),
& Nbsp; "by_dist": _dict ({данни ['_ dist_name "]: 1}),
& Nbsp; "by_browser": _dict ({данни ['_ BROWSER_NAME "]: 1}),
& Nbsp; "by_ip": _dict ({данни [ПР]: 1}),
& Nbsp; "by_status": _dict ({данни ["Състояние"]: 1}),
& Nbsp; "by_url": _dict ({данни ['URI "]: 1}),
& Nbsp; "by_agent": _dict ({данни ["агент"]: 1}),
& Nbsp; "by_referer": _dict ({данни ['Препоръчител "]: 1}),
& Nbsp; "ip_by_url": _dict ({данни ['URI "]: _dict ({данни [ПР]: 1})}),
& Nbsp; "bytes_by_ip": _dict ({данни [ПР]: INT (данни ["байтове"])}),
& Nbsp; "week_browser":. _dict ({Данни ['_ DateTime "] делничен ден ():
& Nbsp; _dict ({данни ["_ BROWSER_NAME"]: 1})}),
& Nbsp; "total_line": 1,
& Nbsp;}),
& Nbsp;),
)
<Силен> Монтаж
лесно, колкото:
PIP инсталирате yahi
или:
easy_install yahi
<Силен> Recommanded употребата
- За основния дневник агрегация, аз recommand използване на командния ред;
- За един изстрел показатели Препоръчвам интерактивна конзола (bpython или ipython);
. - За специфични показатели или сложни филтри I recommand използване на API

<силни> Изисквания :

• Python