Stream Processing, uma visão geral
-
Otávio Carvalho
Ser Humano do Sul da América do Sul.
Cientista da Computação pela UFRGS.
Consultor de Desenvolvimento de Software Junior na ThoughtWorks Inc.
Ex-Bolsista de Iniciação Científica do Grupo de Processamento Paralelo e Distribuído da UFRGS.
Apaixonado por Software, Internet e Processamento Paralelo e Distribuído.
Iremos falar sobre a história e as idéias por trás de Stream Processing, o modelo de processamento utilizado por empresas como Google, LinkedIn, Twitter e Uber para fazer sentido de grandes volumes de dados em alta velocidade.
Mostraremos um overview histórico, começando com ferramentas baseadas em bancos de dados relacionais (TelegraphCQ), passando por trabalhos da Google, como o MapReduce, que influenciaram fortemente a área, e finalizaremos com iniciativas atuais como o Storm, Flink, Spark Streaming, Samza, Google Dataflow, Kafka Stream.
O objetivo é demonstrar a relevância dessa área para empresas que precisam escalar as suas operações em ambientes de computação em nuvem, demonstrar que as APIs são simples de utilizar e que o modelo de processamento se relaciona e respeita a Filosofia Unix
Mostraremos um overview histórico, começando com ferramentas baseadas em bancos de dados relacionais (TelegraphCQ), passando por trabalhos da Google, como o MapReduce, que influenciaram fortemente a área, e finalizaremos com iniciativas atuais como o Storm, Flink, Spark Streaming, Samza, Google Dataflow, Kafka Stream.
O objetivo é demonstrar a relevância dessa área para empresas que precisam escalar as suas operações em ambientes de computação em nuvem, demonstrar que as APIs são simples de utilizar e que o modelo de processamento se relaciona e respeita a Filosofia Unix