Apache Flume

Apache Flume foi desenvolvido como um sistema intermediário que coleta registros de uma aplicação e entrega-lo para outro.
Ele deve funcionar com a maioria dos aplicativos Java e desenvolvedores devem ter certeza, Flume protegido contra perda de dados e falha do serviço.
Dados de registo é transmitido em tempo real através de sistemas tolerantes a falhas com suporte para muitos mecanismos de failover e recuperação.
Porque Flume é executado a partir de um local central, os desenvolvedores podem facilmente controlá-lo e também bater em seus recursos para fins de análise e estatísticas.
Um recurso oculto de Flume é o seu sistema actual "-dados agnóstico". Isto significa que você pode alternar facilmente fonte de um fluxo de dados a partir de uma saída de log para qualquer outra coisa e usar Flume à informação com segurança agregada a partir de vários tipos de serviços.
Estes podem ser mensagens de correio electrónico, fluxos de mídia social, o tráfego de rede, e assim por diante

O que é novo nesta versão:.

• Removendo SSLv2Hello provoca Java 6 clientes para quebrar
• Ativar SSLv2Hello para Avro Fonte e NettyAvroRpcClient
• Ativar SSLv2Hello para HttpSource
• Adicionado suporte-dev para src tarball
• teste Unidade TestHTTPSource.java falhou com o IBM JDK 1.7
• Fonte HTTP deve ser capaz de bloquear um conjunto de protocolos prefixado.
• HTTPS testes falharem em Java 6
• Permitir a configuração de protocolos habilitados em fonte Avro e cliente RPC

O que é novo na versão 1.5.2:

• A remoção SSLv2Hello provoca Java 6 clientes para quebrar
• Ativar SSLv2Hello para Avro Fonte e NettyAvroRpcClient
• Ativar SSLv2Hello para HttpSource
• Adicionado suporte-dev para src tarball
• teste Unidade TestHTTPSource.java falhou com o IBM JDK 1.7
• Fonte HTTP deve ser capaz de bloquear um conjunto de protocolos prefixado.
• HTTPS testes falharem em Java 6
• Permitir a configuração de protocolos habilitados em fonte Avro e cliente RPC

O que é novo na versão 1.5.0:

• Novo recurso:
• Apresente algum tipo de SpillableChannel
• Permitir SpoolDir para passar apenas o nome do arquivo que é a fonte de um evento
• Flume Contexto não suporta float ou valores de configuração de casal.
• Atualização morphlines para 0.7.0
• Suporte de usuário calha-ng-log4jappender cabeçalhos fornecidos
• ElasticSearch Sink para ES API HTTP
• Adicionado uma pia para Kite conjuntos de dados
• diretório spool não deve sempre consumir o arquivo mais antigo primeiro.
• Melhoria:
• configurações de exemplo Flume Guia do Usuário precisam ser consertadas
• Faça SpoolDir trabalhar com sub-diretórios
• Spool fonte diretório deve ser capaz de substituir ou ignorar caracteres malformados
• Manipular cargas maiores via SyslogUDPSource
• Atualização dependência morphline biblioteca com um comunicado 0.5.0
• Reduzir eventos duplicados causados ​​por redefinição de-connection-intervalo

O que é novo na versão 1.3.0:

• Adicionado HTTP post Fonte
• ElasticSearch Sink
• Flume adotar mensagem do Scribe local existente
• Adicionado uma fonte de múltiplas syslog
• Canal de arquivo deve suportar encriptação
• Criar uma fonte de SpoolDirectory e Cliente
• Load Balancing cliente RPC deve apoiar backoff exponencial de nós com falha
• Dump estado do contador de RollingFileSink quando o agente pára
• Regex Extractor Interceptor

O que é novo na versão 1.2.0:

• Implementado uma memória durável Canal
• guia do desenvolvedor Criado por Flume NG
• SDK do cliente
• Implementado um duráveis ​​FileChannel
• Interceptors implementada (anteriormente conhecido como decoradores) para Flume 1.x
• Implementado um HBase Sink que suporta acesso de nível de tabela
• Implementado Timestamp Interceptor
• Asynchronous HBase Sink

Requisitos :

• Java 1.6 ou superior