Написании конфига для logstash 1.5.0
Бюджет $10-30 USD
Есть задача в написании конфига для logstash 1.5.0
Есть существующая реализация всей связки ELK на винде. (без вариантов, перенос на линух не возможен)
ТЗ:
Есть папка с файлами, фактически один файл = одно событие (полный лог транзакции операции). В среднем в файле 200-250 строк, это файл нужно отдать как отдельное событие в elasticsearch. Так же из этого сообщения нужно выловить несколько полей grok – ом.
интересуют следующие значения:
- tineshtamp
- Username=
- requestTypeName=
- duration=
Значения из полей d4p1:Code и d4p1:Message. В двух вариантах, если в поле Message есть цифры отдаем как есть, и во втором поле Message_index без цифр в теле сообщения
пример:
- Message= Can't map transfer1 id=375896, sTransferCode=954640127, msg=transfer id=589636 does not contain Amount with type=TransferAmountFixedInRC
- Message_index= (Can't map transfer1 id=num, sTransferCode=num, msg=transfer id=num does not contain Amount with type=TransferAmountFixedInRC
если в логах нет полей d4p1:Code и d4p1:Message возвращаем NULL
Основная задача написать корректную обработку multline. И дополнительно: научить logstash закрывать файл лога после его обработки. Т.к. 10000 открытых файловых дескрипторов не очень хорошая идея. (При обосновании есть возможность заменить logstash на что-то иное. Или добавить еще какой либо костыль.)
Цена: 500р (оплата по желанию на телефон, карту, яндекс-деньги) Расплата после запуска вашего конфига.
We are experienced in software development, Linux, Java, Python, advanced numerical computations, data analysis, crawler development etc. Please contact on skype: solverio Or by email solver (at) [login to view URL]