Apache Whirr

As bibliotecas Apache whirr são escritos em Java, com pitadas de XML e Python.
Eles foram escritos e compilados para fornecer uma solução single-ferramenta para trabalhar com a multiplicidade de serviços em nuvem e ferramentas baseadas em nuvem pulando para fora em toda parte na internet nos dias de hoje.
Estas bibliotecas oferecem uma interface comum para interagir com cada um destes serviços / ferramentas, automaticamente lidar com as diferenças entre eles.
Padrões para cada serviço são fornecidos e o desenvolvedor precisa apenas fazer algumas modificações rápidas para obter uma interface em funcionamento minutos withing

Características :.

Serviços suportados

:
• A maioria dos componentes do Apache Hadoop pilha
• Apache Mahout
• Chef
• Puppet
• Ganglia
• ElasticSearch
• Apache Cassandra
• Voldemort
• Hama


• Os serviços podem ser implantados em:
• Amazon EC2
• Rackspace Nuvem

O que é novo nesta versão:

• Adaptador para OpenStack Clouds
• Criado Serviço Kerberos
• scripts adicionados Python para auxiliar ssh / scp para VMs
• roteiro whirr para Hadoop MRv2 FIO instala que suporta Hadoop-2.0.x e Hadoop 3.x (tronco) ramos

O que é novo na versão 0.5.0:

• Sub-tarefas:
• Suporte várias versões de ZooKeeper
• Criar ClusterSpec ciente classe BlobStoreContext fábrica
• erros corrigidos:
• Log aviso para nomes de serviço não reconhecido
• serviço ZooKeeper só deve autorizar a entrada a instâncias Zookeeper
• whirr trava quando o arquivo '$ HOME / .ssh / known_hosts' inclui um identificador obsoleto para um determinado endereço IP do host.
• Melhorias:
• Faça uso mais eficiente dos ComputeServiceContext
• Adicionar ClusterAction para a execução do script genérico
• Melhorar a mensagem de erro se whirr.instance-templates deixado de fora da config
• Suporte várias versões do Hadoop
• Guias de configuração de atualização com informações da receita
• Claramente demarcar as APIs de usuários e provedores de serviços
• Novos recursos:
• [CDH] Comece outros serviços baseados na CDH, e não apenas HDFS e MR
• Apoio de upload tarball locais
• Adicionar Voldemort como um serviço
• Adicionar ElasticSearch como um serviço
• Adicionar suporte para BYON

O que é novo na versão 0.4.0:

• Bugs:
• Instâncias deve ser iniciado na ordem especificada no modelo.
• [HBase] Teste de Integração falha.
• Pega timeouts onda melhor.
• Os arquivos de log não devem ser incluídos no arquivo tar ou verificada por RAT.
• testes de integração CDH e Hadoop estão falhando.
• NPE para instâncias parou em EC2.

Funções
• Recursos / install_cdh_hadoop.sh não encontrado ao executar a partir do CLI.
• Melhorias:
• Os usuários devem ser capazes de substituir uma propriedade arbitrária Hadoop antes do lançamento.
• Upgrade para jclouds 1,0-beta-9.
• Receita para um Cluster HBase.
• Exibir papéis em vez de nomes de serviços disponíveis ao executar ./bin/whirr.
• Novos recursos:
• Permitir que os usuários façam logon em grupos como a si mesmos.
• imagens definidas pelo usuário de suporte.
• Suporte os scripts fornecidos localmente.
• Adicionar a capacidade de destruir uma instância de cluster.

O que é novo na versão 0.1.0:

• Sub-tarefa:
• Preencha recebendo documentação começou - recebendo-started.confluence
• Document e implementar processo de liberação
• Adicione chaves do arquivo para o diretório de distribuição
• Publicar artefatos Maven para http://repository.apache.org
• Atualização de documentação de início rápido para trabalhar com a liberação 0.1.0
• Bug:

Comando impulso
• Hadoop-cloud invoca criação de proxy
• Não requer instalação manual do Apache RAT para compilar
• advertências Fix RAT devido a arquivos do site
• Cassandra POM deve depender de nível superior
• Solução bug 331 em jclouds (Algumas operações EC2ComputeService falhar por instâncias parado)
• Apenas permitir o acesso aos conjuntos de redes definidas
• serviço Hadoop está quebrado
• Testes de integração não deve ser executado em & quot; mvn instalar o & quot;
• Log4j está faltando no JAR CLI
• Melhoria:
• Criar construção Ant para a execução de testes de unidade EC2
• Suporte opção do grupo de segurança adicional no roteiro hadoop-ec2
• Criar setup.py para scripts EC2 nuvem
• Gerar relatório RAT
• Aplicar fonte estilo de código

Testes
• unitários e de integração (sistema) separado
• Upgrade para jclouds 1,0-beta-6
• Permitir locais de script para ser substituído
• Adicionar início rápido whirr para README.txt e website (uma vez que é ao vivo)
• Atualização POM para apontar para Apache RAT 0.8-SNAPSHOT
• Abra as portas 50010 (JobTracker) e 50070 (NameNode) para o serviço Hadoop
• Adicionar javadoc núcleo
• Criar uma fábrica de serviço
• Permitir que o serviço Hadoop para ser executado em servidores em nuvem Rackspace
• Adote a interface Java SPI padrão
• serviço Implementar / cdh
• Apresente consistência de nomeação para os provedores de serviços em nuvem
• Unify ClusterSpec e ServiceSpec
• Dissociar keypairs a partir dos arquivos que segurá-los
• Use Commons Configuração para gerenciar especificações de cluster
• Limpar dependências POM
• New Feature:
• Adicionar suporte para o armazenamento EBS no EC2
• namenode Corra e JobTracker em instâncias EC2 separados
• Faça um provedor de nuvem Rackspace
• Adicionar um serviço ZooKeeper aos scripts nuvem
• Adicionar serviço Cassandra
• Adicionar um CLI
• Task:
• Import código fonte inicial de Hadoop contrib
• Import inicial código-fonte Java
• Criar site do projeto
• Adicionar diretórios de destino para svn ignorar
• Release versão 0.1.0