Rocks Cluster

Rochas Cluster é um projeto de código aberto que fornece aos usuários uma distribuição Linux baseada no sistema operacional Red Hat Enterprise Linux e projetado desde o início para oferecer um conjunto cheio de recursos em uma solução CD para clusters Red Hat Linux.
Anteriormente conhecido como NPACI Rochas Tool Kit Cluster, a distribuição permite que qualquer pessoa facilmente e rapidamente construiu um cluster Rocks. Ele também permite que usuários experientes para construir os clusters computacionais, paredes de azulejos visualização de exibição e grade endpoints.Based em CentOSBeing baseado na distribuição Linux CentOS, que por sua vez é baseado no sistema operacional Red Hat Enterprise Linux, a distro Rochas Cluster fornece uma sistema enterprise-ready poderoso, estável e confiável que apresenta um processo de instalação única e simples.
Ele vem com todas as ferramentas necessárias para clusters de gestão, tais como PBS, suporte GM, Maui, Ganglia, e muito mais. Você vai ser capaz de implantar, atualizar e gerenciar clusters escala sem muito incômodo. No momento, somente a arquitetura de 64 bits (x86_64) é supported.Getting começou com rochas ordem Clusterina para construiu um cluster de computação, os usuários teriam de criar um cluster de nu-ossos, arrancar o seu front-end com o Kernel / roll Bota e adicione o rolo base, OS Rolo Disco 1, OS Rolo disco 2 e 3 OS disco imagens ISO. Para clusters caracterizado cheio, você também deve adicionar o Area51, SGE, Ganglia, HPC, Python, Perl, e rolos de web-servidor.
Por outro lado, aqueles de vocês que querem construir um cluster personalizado deve escolher entre rochas a seleção de Cluster a la carte e baixar os rolos / boot Base e do kernel, bem como todo o sistema operacional rolls.Bottom lineAll em todos, Pedras Cluster é uma distribuição Linux enterprise-ready baseada em CentOS usado por centenas de pesquisadores de todo o mundo para instalar seu próprio cluster. É um sistema operacional único alimentado por uma infinidade de tecnologias de código aberto e projetados para implantar facilmente cachos gerenciáveis ​​

O que é novo nesta versão:.

< ul>

O que é novo na versão 6.1.1:

• A última actualização das rochas codinome da boa da areia é agora liberado. Boa da areia é um 64-bit só liberar e baseia-se CentOS 6.5 Os rolos OS Rocha-fornecidos ter todas as atualizações aplicadas a partir de 14 de abril de 2014. Isso inclui atualizações para o OpenSSL Heartbleed.
• Suporte para ZFS foi atualizado para a versão 0.6.2. Condor é agora o rolo HTCondor é a versão 8.0.6
• Também é incluído um novo rolo de impressão digital chamado que determina dinamicamente dependências de código compilado em ambos Rochas e sistemas não-rochas.

O que é novo na versão 5.4:

• Novos recursos:
• Redesenho da Avalanche Installer.
• Ao observar o desempenho do Avalanche Installer em uma máquina de 1000 nó, tornou-se óbvio que temos de reduzir o tráfego, tanto para o frontend possível. Isso levou a substituir o instalador baseado em BitTorrent python com um instalador de inspiração BitTorrent escrito em código C. O C nos permite colocar mais arquivos na rede peer-to-peer, notadamente: product.img (160KB), stage2. img (108MB) e updates.img (98MB).
• Para reduzir ainda mais o tráfego para o frontend, o frontend agora envia previsões de pacotes para instalar nós. Quando um nó pede um pacote, o rastreador no frontend envia uma lista de endereços de nó em que esse pacote pode ser encontrado, além de uma lista dos próximos nove pacotes que nó provavelmente irá pedir para a próxima. Quando os aparelhos similares são simultaneamente instalar, isso reduz o tráfego de rastreador por 10x.
• Instalação de nós podem ser agrupados. Quando um nó de instalação pede o tracker para a localização de um pacote e, se os outros nós são simultaneamente instalação, o rastreador irá favorecer os nós que estão no mesmo grupo que o nodo solicitante, ou seja, a lista o rastreador envia de volta para o nó de instalação terá nós do mesmo grupo que o nó de instalação no topo da lista. O agrupamento padrão é por rack, mas pode ser controlada pelo & quot; coop & quot; atributo. Por exemplo, se você gostaria de colocar todos os nós de prateleira 0 e acumular 1 no mesmo grupo (chamado & quot; vermelho & quot;), você deve executar: & quot; rochas definir anfitrião attr rack0 RACK1 coop vermelho & quot;
.
• Pode especificar vários trackers e quot; & múltiplos servidores de & quot ;. pacote Um servidor pacote é um nó que é & quot; garantida & quot; para que o arquivo solicitado (por exemplo, a interface).
• Para cada arquivo baixado, uma verificação MD5 checksum é realizada. Isto detecta o caso em que um colega pode ter corrompido um arquivo e impede que o arquivo corrompido de espalhar na rede peer-to-peer.
• ligação de canal para nós agora é controlada pela linha de comando Rocks.
• configuração de ligação de canal para um nó é armazenado no banco de dados e pode ser adicionado, removido ou modificado com a linha de comando Rochas (por exemplo, & quot; rochas adicionar anfitrião ligado ... & quot;). Após a ligação do canal está configurado para um nó, ele pode ser aplicado de forma dinâmica através da execução de & quot; rochas rede do host de sincronização ... & quot;.
• Todas as regras de firewall dos nós são controladas pela linha de comando Rocks.
• As regras para todos os nós são armazenadas no banco de dados e pode ser adicionado, removido ou modificado com a linha de comando Rochas (por exemplo, & quot; rochas firewall anfitrião aberto & quot ;, & quot; rochas perto firewall de host & quot ;, & quot; rochas remover hospedar firewall & quot;). Depois de configurações de firewall de um nó são alterados, eles podem ser aplicados para o nó on-the-fly com & quot; rochas firewall anfitrião sync 'hostname' & quot; (Este comando também é chamado quando o usuário executa & quot; rochas rede do host de sincronização ... & quot;).
• A introdução de & quot; Air Control & quot Tráfego;.
• Nós desenvolvemos um serviço conhecido como o & quot; Airboss & quot; que reside no frontend física (no Dom0) e permite que usuários não-root para controlar seu VMs. A motivação para este serviço é que libvirt (a API de virtualização escrito por RedHat que pode controlar várias implementações de virtualização diferentes) assume & quot; raiz & quot; acesso para controlar e monitorar VMs.
• O Airboss em Rocks é um pequeno serviço que usa mensagens assinadas digitalmente para dar aos usuários non-root acesso ao seu cluster virtual (e só seu cluster virtual). O Airboss depende de pares de chaves privadas / públicas para validar mensagens. O administrador do cluster hospedagem física deve emitir um único comando para associar uma chave pública com um cluster virtual particular. Nesse ponto, o processo completo de ligar, desligar e instalação de um cluster virtual pode ser controlado pelo usuário não-root (autorizado).
• Além do controle de energia VM, nós também adicionou a capacidade de anexar a consola de uma VM. Isso permite aos usuários ver a seqüência de inicialização inteiro para uma VM a partir da & quot; BIOS & quot; mensagens de inicialização.

Comandos
• diversas rochas foram adicionados para suportar esse recurso: & quot; rochas criar chaves de & quot; (Para criar pares de chaves privadas / públicas), & quot; rochas estabelecidos poder anfitrião & quot; (Para ligar / baixo VMs e instalar forçosamente uma VM, semelhante ao PXE arrancar uma máquina física), e & quot; rochas consola de acolhimento aberto & quot; (Para anexar a consola de um VM).
• & quot; greceptor & quot; substituído por & quot; channeld & quot;.
• O protocolo de fio para mensagens gânglios mudou o que exigiu uma grande reformulação para greceptor. Nós tomamos a decisão de escrever um simples serviço baseado em RPC (chamada 'channeld') para assumir as responsabilidades de greceptor. Channeld aceita pedidos 411-venda e as põe em prática, utilizando-411 começa a fazer download de arquivos sob o controle de 411.
• Todos os outros componentes do 411 permanecem inalterados, apenas o mecanismo de notificação foi aprimorado.
• resolução de DNS para vários domínios.
• O sistema de nomes de DNS no frontend agora suporta múltiplas zonas, onde cada sub-rede gerida pela frontend podem ser colocados em uma zona diferente. O serviço DNS pode ser ativado ou desativado para cada zona individual.
• apoio entre aparelho.
• Um nó pode ser configurado como um aparelho de Login. Por padrão, um aparelho entre possível enviar tarefas, mas não pode executar tarefas.
• Definir o nome de um host com base no nome de uma interface de rede específica.
• O & quot; primary_net & quot; atributo permite que os nós de ter / bin / hostname conjunto para o nome de uma interface de rede diferente da & quot; privada & quot ;. Isso é útil para login ou outros aparelhos de interface múltipla.
• trocar facilmente 2 interfaces com um comando Rocks.
• Para trocar as configurações de 2 interfaces, executar & quot; rochas interface host de swap ... & quot;.
• Criado um repositório GIT para Rocks-relacionados código-fonte.
• O anfitrião & quot; git.rocksclusters.org & quot; é um repositório GIT para todas as rochas do núcleo código, código UCSD Triton recursos e das rochas de código contrib.
• Melhorias:
• OS: Baseado em CentOS release 5/5 atualização e todas as atualizações a partir de 02 de novembro de 2010
.
• Base: instalador Anaconda atualizada para v11.1.2.209
.
• Base: não remapear a rede privada para & quot; eth0 & quot ;, em vez Rochas mantém o controle da rede de um nó de kickstarted e mapeia essa rede para o & quot; privada & quot; rede. Por exemplo, se um nó kickstarted off & quot; & quot ;, eth1 então o & quot; eth1 & quot; será mapeado para a rede privada.
• Base: endureceu o instalador Anaconda para escrever de forma mais agressiva os arquivos de configuração do grub para o disco de inicialização. Isso ajuda a mitigar o & quot; pendurar ao tentar carregar Grub stage2 & quot; questão.
• Base: removido módulo do kernel do ext4 ambiente de instalação. Descobrimos que tentar montar uma partição swap como um sistema de arquivos ext4 freqüentemente causada kernel panic durante instalações.
• Base: adicionado ksdevice = bootif a todos os alvos de inicialização PXE. Isso melhora a velocidade de instalação reutilizando o endereço IP / informações da interface quando um nó PXE botas. Anteriormente, um nó seria re-examinar todos os interfaces Ethernet.
• Base: quando um arquivo XML nó tem um erro de sintaxe, & quot; perfil lista rochas anfitrião & quot; imprime o nome do arquivo XML nó eo número da linha onde ocorreu o erro de sintaxe.
• Base: & quot; rochas executar o Host & quot; agora gera vários threads paralelas quando vários hosts são fornecidos. Também acrescentou os seguintes parâmetros:. Timeout (! Graças Tim Carlson), delay, estatísticas, confrontar e num-threads
• Base: padrão de configuração yum modificado para se ligar ao IP público da interface em vez do privado. Isso facilita a instalação do pacote fácil para nós externos (por exemplo, nós que executam em uma nuvem pública).
• Base:. Atributos inexistentes são considerados falsos condicionais na construção de arquivos de configuração
• Base de dados: & quot; precede & quot; método adicional para comandar Rochas plugins para permitir ordenação de grão fino da execução plugin.
• Base: interfaces de rede tem o suporte para dois novos modos específicos: & quot; dhcp & quot; e & quot; noreport & quot ;. O & quot; dhcp & quot; modo indica que a interface deve sempre DHCP para obter o respectivo endereço. O & quot; noreport & quot; mode especifica que nenhum & quot; ifcfg - * & quot; arquivo deve ser escrito para a interface. Se um modo não é especificado para uma interface, em seguida, Rochas irá criar uma & quot; ifcfg - * & quot; arquivo para a interface baseada em valores definidos no banco de dados (como o fez na versão anterior).
• Base: IPMI agora usa a coluna canal de interface na tabela redes para especificar o número do canal controlador de rodapé
.
• Base: texto para dentro & quot; changelog & quot; tags é agora envolto em CDATA para permitir caracteres de escape XML. Isso só é suportado para arquivos XML nó encontrados dentro Rolls (não para arquivos XML nó encontrado em / export / rochas / instalação / site-perfis.
• Base: rolos pode ser construído sem uma cópia completa do código fonte Rocks. Eles usam o ambiente de desenvolvimento de rochas encontradas em / opt / rochas / share / devel em um frontend.
• Area51:. Tripwire atualizado para v2.4.2
• Bio:. Atualizado módulos do CPAN
• Bio:. Refrescado CPAN MPI-Blast
• Bio:. Adicionado Celera Whole Genome Sequence Assembler
• Condor:. Atualizado para v7.4.4
• Condor: Condor configuração automatizada completamente refeito: 1) a configuração é rochas comando com base em vez de ferramenta CondorConf autônomo, 2) que suporta a atualização dinâmica de qualquer / todas as configurações em nós, 3) ele usa Rochas comandar plugins adicionais para permitir automatizado condor de configuração (por exemplo, via plugin, ele pode ativar o suporte MPI).
• Condor:. Suporta uma senha piscina (segredo compartilhado) para verificação de host adicional
• Condor:. Integra com rolo EC2 para estender piscinas Condor com Hosts EC2
• Condor: suporte adicional para intervalos de porta para facilitar a configuração de firewall
.
• Condor: cópia local do manpages do Condor adicionado para rolar documentos
.
• Condor:. Suporte para a atualização Condor em nós sem re-instalação (por exemplo, rochas executar o Host & quot; condor atualização yum & quot;; rochas condor anfitrião sync)
• Ganglia:. Monitor de núcleo atualizado para v3.1.7
• Ganglia:. RRDTool atualizado para v1.4.4
• Ganglia:. Os gânglios rolo podem agora ser adicionados on-the-fly para um frontend existente
• Ganglia: todos os nós enviar seus metadados métrica a cada 3 minutos. No passado, quando gmond foi reiniciado no frontend, não poderia coletar métricas a partir dos nós, porque não tinha metadados a partir dos nós (e não ter uma forma de pedir os nós porque os nós são configurados em & quot; surdo & quot;. mode)
• HPC:. Iozone atualizada para v3.347
• HPC:. Iperf atualizado para v2.0.5
• HPC:. MPICH2 atualizada para v1.2.1p1
• HPC:. OpenMPI atualizado para v1.4.3
• HPC: rochas-openmpi é o MPI padrão e é configurada com MPI-selector
.
• SGE:. SGE atualizada para V62u5
• SGE: qualquer host pode ser configurado para ser um host de execução, definindo quot do & acolhimento; exec_host & quot; e & quot; sge & quot; atribui a verdade e qualquer host pode se tornar um anfitrião apresentação definindo quot do & acolhimento; submit_host & quot; e & quot; sge & quot; atribui a verdade.
• Web-servidor:. Mediawiki atualizados para v1.16.0
• Web-servidor:. Wordpress atualizado para v3.0.1
• Xen: qualquer nó pode como o Host Xen máquinas virtuais. Isso é controlado com o & quot; xen & quot; atributo.
• Xen: definir a força para todos os nós em um cluster virtual (exceto o frontend VM) com um comando (& quot; pedras definem o poder de cluster ... & quot;). As configurações de energia pode ser & quot; em & quot ;, & quot; da & quot; ou & quot; instalar & quot; (Ligar e forçar a instalação).
• Xen: permitir que as máquinas virtuais para definir interfaces de VLAN marcada. Anteriormente, a marcação de VLAN só foi apoiada por interfaces físicas.
• Correções de bugs:
• Base: usuários não-root não pode mais ver as senhas criptografadas com 'lista rochas anfitrião attr'. Hash de senhas agora estão armazenados em uma coluna 'sombra' nas tabelas de atributos.
• Base: o & quot;% & quot; em & quot; rochas executar host% & quot; agora retorna todos os hosts. Graças a Tom Rockwell para a correção.
• Base: Se um switch ethernet envia uma solicitação DHCP, o servidor DHCP não envia-o & quot; filename & quot; e & quot; ao lado do servidor & quot; na resposta de DHCP. Isso fez com que algumas opções não colocá-los adequadamente seu firmware. Em termos mais gerais, isto é controlado por o? Kickstartable & quot ;, & quot; dhcp_filename & quot; e & quot; dhcp_nextserver & quot; atributos.
• Base: & quot; rochas definir a senha & quot; pede ao usuário para confirmar a sua nova senha.
• Base: quando um nó solicita um arquivo kickstart e se o frontend determina que o frontend é também & quot; movimentada & quot ;, o nó kickstarting agora faz corretamente uma backoff aleatório antes de voltar a solicitar seu arquivo de kickstart. Antes desta correcção, um nó seria de recuo para 30 segundos.
• Base:. Várias condicionais agora pode estar presente em tags XML
• Base: Corrigido um problema de travessia de gráfico. No passado, se você tivesse o gráfico & quot; um & quot; (Cond) para & quot; b & quot; para & quot; c & quot; e se & quot; cond & quot; era falsa, a travessia gráfico incluiria & quot; um & quot; e & quot; c & quot ;. Agora ele só inclui & quot; um & quot;.
• Base de Dados: permissões definidas no & quot; & quot; arquivo tag são preservados mesmo que haja outro & quot; arquivo & quot; tags para o mesmo arquivo que não definir as permissões do arquivo. O bug foi quando uma tarde & quot; arquivo & quot; tag sem um & quot; perms & quot; atributo foi encontrado, as permissões do arquivo foram apuradas.
• Base: & quot; arquivo & quot; etiquetas agora suportam & quot; OS & quot; condicionais.
• Base: em inserir-éteres, aparelhos que são marcadas & quot; não Kickstart & quot; não terá que esperar por um arquivo de kickstart. No passado, era preciso acertar o & quot; F9 & quot; (Force Quit) para sair insert-éteres ao descobrir aparelhos Kickstart não (por exemplo, comutadores Ethernet).
• Base: Configuração IPMI limpo. Rochas não gera entradas errôneas em modprobe.conf ou / etc / sysconfig / ifcfg-ipmi.
• Base: O & quot; pre & quot; tag agora suporta o & quot; intérprete = & quot; atributo.
• Bio: eliminado & quot; Permission Denied & quot; erros durante várias execuções na mesma base de dados BLAST por diferentes usuários.
• SGE: fez a métrica coleção trabalho mais eficiente. Anteriormente, quando 100 dos trabalhos são enviados para a fila de um frontend, a métrica SGE levaria tanto tempo para executar, causou gmond para parar reunir métricas para todos os hosts.
• SGE: o número de postos de trabalho de matriz CPUs consumimos são agora corretamente contados
.