Apache Spark

Faísca foi projetado para melhorar a velocidade de processamento para análise de dados e programas de manipulação.
Ele foi escrito em Java e Scala e fornece recursos não encontrados em outros sistemas, principalmente porque eles não são dominante nem que útil para aplicações de processamento de não-dados.

O que é novo nesta versão:.

• O núcleo API agora suporta árvores de agregação multi-nível para ajudar a acelerar caro reduzir as operações
• Melhorado o relatório de erro foi adicionado para determinadas operações de pegadinha.

Jetty dependência
• Spark está agora sombreada para ajudar a evitar conflitos com programas do usuário.
• Faísca agora suporta criptografia SSL para alguns parâmetros de comunicação.
• métricas em tempo real GC e contagens de registro foram adicionadas à interface do usuário.

O que é novo na versão 1.3.0:

• O núcleo API agora suporta árvores de agregação de vários níveis para ajudar a acelerar caro reduzir as operações.
• Melhorado o relatório de erro foi adicionado para determinadas operações de pegadinha.

Jetty dependência
• Spark está agora sombreada para ajudar a evitar conflitos com programas do usuário.
• Faísca agora suporta criptografia SSL para alguns parâmetros de comunicação.
• métricas em tempo real GC e contagens de registro foram adicionadas à interface do usuário.

O que é novo na versão 1.2.1:

• operador de classificação de PySpark agora suporta derramamento externo para grandes conjuntos de dados .
• PySpark agora suporta variáveis ​​de transmissão maiores que 2 GB e executa derramamento externa durante sortes.
• Faísca acrescenta uma página de nível de emprego progresso na interface do usuário Spark, uma API estável para relatórios de progresso e atualização dinâmica de métricas de saída como postos de trabalho completo.
• Faísca agora tem suporte para leitura de arquivos binários para imagens e outros formatos binários.

O que é novo na versão 1.0.0:

• Esta versão expande bibliotecas padrão do Spark, que introduz um novo pacote de SQL (SQL faísca) que permite integrar consultas SQL em fluxos de trabalho de ignição existentes.
• MLlib, biblioteca de aprendizado de máquina do Spark, é expandida com o apoio vetor esparso e vários novos algoritmos.

O que é novo na versão 0.9.1:

• Corrigido bug colisão de hash em derramamento externa
• conflito fixo com log4j de faísca para usuários que dependem de outros servidores de log
• Graphx Fixo faltando jar montagem faísca em Maven constrói
• falhas silenciosas fixos devido a mapear o status de saída superior tamanho Akka quadro
• dependência direta desnecessário removido da faísca no ASM
• Removido métricas-gânglios da compilação padrão devido a LGPL conflito licença
• Corrigido o erro no arquivo tar distribuição não contendo frasco de montagem de ignição

O que é novo na versão 0.8.0:

• Desenvolvimento mudou-se para a Fundação Apache Sowftware como um projeto da incubadora.

O que é novo na versão 0.7.3:

• Python desempenho: mecanismo de ignição para a desova Python tem VMs foi melhorado para fazê-lo mais rápido quando a JVM tem um grande tamanho de heap, acelerando a API Python.
• Mesos corrige: JARs adicionados ao seu trabalho agora será no classpath ao desserializar resultados da tarefa em mesos
.
• Relatório de erros:. Melhor relatório de erros para exceções não-serializáveis ​​e excessivamente grandes resultados da tarefa
• Exemplos:. Adicionado um exemplo de processamento de fluxo stateful com updateStateByKey
• Constituição:. Centelha Transmissão não depende mais do repo Twitter4J, o que deverá permitir-lo para construir na China
• Correções de bugs em foldByKey, streaming de contagem, estatísticas, métodos de documentação e interface Web.

O que é novo na versão 0.7.2:.

• versão Scala atualizado para 2.9.3
• Várias melhorias para Bagel, incluindo correções de desempenho e um nível de armazenamento configurável.
• Novos métodos de API:. SubtractByKey, foldByKey, mapacom, filterWith, foreachPartition, e outros
• Uma nova métricas de relatórios interface, SparkListener, para coletar informações sobre cada etapa de cálculo:. Comprimentos de tarefas, bytes embaralhadas, etc
• Vários novos exemplos usando a API do Java, incluindo K-médias e computação pi.

O que é novo na versão 0.7.0:

• Faísca 0.7 adiciona uma API Python chamado PySpark <. / li>
• tarefas de ignição agora lançar um painel de controle web para monitorar o uso de memória de cada conjunto de dados distribuídos (RDD) no programa.
• faísca pode agora ser construído usando Maven para além SBT.

O que é novo na versão 0.6.1:

• mensagem excessivamente agressivo fixa limites de tempo que poderia causar aos trabalhadores desconectar do cluster.
• Corrigido um bug no modo de implementação autônomo que não expor nomes de host para programador, afetando HDFS localidade.
• Melhoria da reutilização da conexão em shuffle, o que pode acelerar bastante pequenas embaralha.
• Corrigidos alguns deadlocks potenciais no gerenciador de bloco.
• Corrigido um erro recebendo IDs de anfitriões fracassadas de mesos.
• Várias melhorias de script EC2, como um melhor tratamento de casos pontuais.
• Feito o endereço IP local que se liga a ignição personalizável.
• Suporte para Hadoop duas distribuições.
• Suporte para localizar Scala em distribuições Debian.

O que é novo na versão 0.6.0:.

• implantação mais simples
• documentação da faísca foi ampliado com uma nova guia rápido início, instruções de implantação adicionais, guia de configuração, guia de ajuste e melhoria da documentação da API Scaladoc.
• Um novo gerente de comunicação assíncrona usando Java NIO permite operações de reprodução aleatória correr mais rápido, especialmente quando o envio de grandes quantidades de dados ou quando os trabalhos têm muitas tarefas.
• Um novo gerente de armazenamento suporta per-dataset configurações de nível de armazenamento (por exemplo, se a manter o conjunto de dados na memória, desserializado, em disquete, etc, ou mesmo replicados entre os nós).
• depuração avançado.