Beaver

Beaver е Python демон, че munches на логове и изпраща съдържанието им да logstash.
<Силен> Монтаж
Използването на PIP:
От Github:
PIP инсталирате Git + Git: //github.com/josegonzalez/beaver.git#egg=beaver
От PyPI:
PIP инсталирате бобър == 1
<Силен> Usage
ползване:
бобър [Н] [-r {работник, интерактивна}] [-m {свързват, свържете}] [-p PATH]
& Nbsp; [- F FILES [ФАЙЛОВЕ ...]] [-t ТРАНСПОРТ]
допълнителни аргументи:
-Н, --help покаже това помощно съобщение и излизане
-r {работник, интерактивна}, --run {работник, интерактивна}
& Nbsp; тече работник или интерактивен режим
-м {свързват, свържете}, --mode {свързват, свържете}
& Nbsp; свързват или режим свържете
-p PATH, --path КАНАЛ да влезете файлове
-f FILES [ФАЙЛОВЕ ...] --files ФАЙЛОВЕ [ФАЙЛОВЕ ...]
& Nbsp; отделени с файловете, за да гледате. Замени на --path
& Nbsp; аргумент
-t {AMQP, преразпределяне, стандартния изход}, --transport {AMQP, преразпределяне, стандартния изход}
& Nbsp; влезете метод транспорт
<Силен> Background
Beaver осигурява лек метод за доставка местните лог файлове на Logstash. Той прави това, използвайки или преразпределяне, стандартния вход, zeromq като транспорта. Това означава, че ще се нуждаят от преразпределяне, стандартния вход, zeromq вход някъде по пътя, за да получите събитията.
Събитията са изпратени в json_event формат logstash си. Options може да се задават и като променливи на обкръжението.
<Силни> Примери
Пример 1: Слушайте любимата си музика в пътя по подразбиране на / Var / дневник на стандартния изход:
бобър
Пример 2: Изпращане на трупи от / Var / лог файлове към списък с преразпределяне:
REDIS_URL = "преразпределяне: // Localhost: 6379/0" бобър -Т преразпределяне
Пример 3: Използвайте системни променливи, за да изпратите трупи от / Var / лог файлове към списък с преразпределяне:
REDIS_URL = "преразпределяне: // Localhost: 6379/0" BEAVER_PATH = "/ Var / дневник" BEAVER_TRANSPORT = преразпределяне бобър
Пример 4: Zeromq слуша на порт 5556 (всички интерфейси):
ZEROMQ_ADDRESS = "TCP: // *: 5556" бобър -m свързват
# Logstash довереник:
входни {zeromq {
& Nbsp; тип => 'изпращача и вход "
& Nbsp; режим => "клиент"
& Nbsp; топология => 'pushpull "
& Nbsp; адрес => "TCP: // shipperhost: 5556"
& Nbsp;}}
изход {стандартния изход {дебъгване => вярно}}
Пример 5: Zeromq свързване към отдалечен порт 5556 на индексиращия:
ZEROMQ_ADDRESS = "TCP: // индексиращия: 5556" бобър -m свържете
# Logstash довереник:
входни {zeromq {
& Nbsp; тип => 'изпращача и вход "
& Nbsp; режим => "сървър"
& Nbsp; топология => 'pushpull "
& Nbsp; адрес => "TCP: // *: 5556"
& Nbsp;}}
изход {стандартния изход {дебъгване => вярно}}

Какво ново в тази версия:

• Осигурете нови файлове, се добавят към а превозва конфигурация. Затваря # 96. Затваря # 101. [Хосе Диас-Gonzalez]
• Позволи плувка номера за update_file_mapping_time. [Хосе Диас-Gonzalez]
• Fix невалиден леене на булеви стойности. [Хосе Диас-Gonzalez]
• Изпълнете всички реализации в config.py. Затваря # 99. [Хосе Диас-Gonzalez]

Какво ново във версия 16:

• Посочете с максимален размер опашка от 100 до ограничаване подминаване памет. [Хосе Диас-Gonzalez]
• Използване на многопроцесорни за работа с по-големи размери на опашки. [Хосе Diaz- Gonzalez]
• Преди имаше въпроси, където файлове, които са били актуализирани често, като например лакове или сървърни логове ще смаже наивната изпълнението на file.readlines () в Beaver. Това ще доведе до Beaver бавно да прочетете по-големи и по-големи части от даден файл, преди обработката всяка от линиите, в крайна сметка причинява Beaver да вземе завинаги да обработва лог линии.
• Тази кръпка добавя възможността за използване на вътрешен работа опашка за лог линии. Всеки път, когато file.readlines () се нарича, линиите се поставят в опашката, която се споделя с дъщерен процес. Процесът на детето създава свой собствен транспорт, което ни позволява да могла да създаде процес Pool в бъдеще да се справят с по-голям размер на опашката.
• Имайте предвид, че ограничаването на file.readlines () четене в твърде много линии е все още съществува, и може да продължи да предизвика проблеми за някои лог файлове.
• Добави подразбиране redis_password да BeaverConfig клас. [Хосе Диас-Gonzalez]
• Фикс липсва долна причиняване на транспорта да се счупи. [Норман Джойнър]
• Прилагане преразпределяне AUTH подкрепа. [Норман Джойнър]
• Добави бобър първоначален сценарий за режим daemonization. [Хосе Диас-Gonzalez]
• Използване питон дървар при използване StdoutTransport. [Хосе Диас-Gonzalez]
• Добави кратки аргикинови знамена за име на хост и формат. [Хосе Диас-Gonzalez]
• Добави способността да daemonize. Затваря # 79. [Хосе Диас-Gonzalez]
• Заобикаля дървар например до всички транспорти. [Хосе Диас-Gonzalez]
• Възстановяване & quot; Добавено лек клас & quot събитие; [Хосе Диас-Gonzalez]
• След дебата бобър е писано да бъде & quot; лек & quot ;. Нека оставим тежката удряне на големите момчета.
• Това връща ангажират 1619d33ef4803c3fe910cf4ff197d0dd0039d2eb.
• Добавена лек клас Event. [Хосе Диас-Gonzalez]
• пълна отговорност Този клас ще бъде обработката на дадена линия като събитие. Това е бъдеща цел ще бъде да действа като лек изпълнение на филтърната система в Logstash
• Отстрани argparse изискване за Python 2.7 и по-горе. [Хосе Diaz- Gonzalez]

Какво ново във версия 13:

• Фиксирани някои променливи на обкръжението. [Хосе Диас-Gonzalez]
• SSH Tunnel Support. [Хосе Диас-Gonzalez]
• Този код трябва да ни позволи да създадем SSH тунел между две отделни сървъри за целите на изпращане и получаване на данни.
• Това е полезно в някои случаи, когато в противен случай ще трябва да разрешите в настройките на защитната стена или IPTABLES, като например, когато работи в два различни региона на AWS.
• Разрешаване на първоначално закъснение връзка. Полезно, когато чакат за SSH прокси сървър за връзка. [Хосе Диас-Gonzalez]
• въпрос Fix където някои конфигурационни настройки по подразбиране са на неправилна стойност. [Хосе Диас-Gonzalez]
• Позволи уточнява хост чрез флаг. Затваря # 70. [Хосе Диас-Gonzalez]

<силни> Изисквания :

• Python