Realtime Logging Aggregation com Logstash e AngularJS

O tratamento adequado de logs gerados por um software é algo de extrema importancia, provendo a visibilidade necessária sobre o comportamento do mesmo. Apesar disto, nem todos levam a sério uma abordagem bem elaborada para o tratamento de suas informações. Em ambientes distribuidos, a correlação entre eventos se torna um desafio ainda maior, visto que os registros das informações estão espalhados por uma série de equipamentos. Desta forma, esta apresentação tem como objetivo apresentar uma arquitetura que possibilite a agregação e processamento de logs em realtime a partir de ferramentas como Scribe, Logstash e Elasticsearch. A idéia principal é demonstrar aos participantes a maneira ideal para combinação de ferramentas para coleta (Scribe), processamento(Logstash e Elasticsearch) e visualização dos dados (Kibana e AngularJS). Será demonstrado uma aplicação Java que utiliza o framework Log4j para geração de eventos e com o Scribe iremos demonstrar a coleta e centralização destes, fornecendo ao Logstash as informações necessárias para serem processadas e indexadas no Elasticsearch. Com os dados indexados, faremos uso da ferramenta Kibana, para criação de dashboards customizaveis, uma boa maneira de gerar valor ao negócio. Além disso, será apresentado como é possivel desenvolver sua própria interface web utilizando o framework AngularJS através de uma API fornecida pelo Elasticsearch.