MooseFS

MooseFS é um tolerante, sistema de arquivos de rede distribuída falha que se espalha de dados ao longo de vários servidores físicos que são visíveis para o usuário como um recurso & nbsp; para operações de arquivo padrão MooseFS atua como outros sistemas de arquivos Unix-alike.:
& Nbsp; * A estrutura hierárquica (árvore de diretórios)
& Nbsp; * atributos de arquivo Stores POSIX (permissões, último acesso e modificação vezes)
& Nbsp; * Suporta arquivos especiais (dispositivos de bloco e de caracteres, tubos e tomadas)
& Nbsp; * links simbólicos (nomes de arquivo que aponta para direcionar arquivos, não necessariamente sobre MooseFS) e links de disco rígido (diferentes nomes de arquivos que se referem aos mesmos dados em MooseFS)
& Nbsp; * O acesso ao sistema de arquivos pode ser limitado com base no endereço IP e / ou senha
Características distintivas dos MooseFS são:
& Nbsp; * alta confiabilidade (várias cópias dos dados podem ser armazenados em computadores separados)
& Nbsp; * A capacidade é dinamicamente expansível, anexando novos computadores / discos
& Nbsp; * Excluídos os arquivos são mantidos por um período de tempo configurável (a nível do sistema de arquivos "lata de lixo")
& Nbsp; * snapshots coerentes de arquivos, mesmo enquanto o arquivo está sendo escrito / acessados
MooseFS constituído por quatro componentes:
& Nbsp; * Servidor de Gestão (servidor master) & ndash; uma única máquina gestão de todo o sistema de arquivos, armazenar metadados para cada arquivo (informações sobre tamanho, atributos e localização (s) arquivo, incluindo todas as informações sobre arquivos não-regulares, ou seja, diretórios, soquetes, tubulações e dispositivos).
& Nbsp; * Os servidores de dados (servidores do pedaço) - qualquer número de servidores que armazenam os dados de commodities arquivos e sincronizá-lo entre si (se um determinado arquivo é suposto existir em mais de uma cópia).
& Nbsp; * servidor de backup Metadados (s) (servidor metalogger) - qualquer número de servidores, os quais changelogs repositório de metadados e baixar periodicamente arquivo de metadados principal; de modo a promover esses servidores para o papel do servidor Managing quando mestre primário pára de funcionar.
& Nbsp; * Os computadores clientes que acessam (Mount) os arquivos em MooseFS - qualquer número de máquinas que utilizam processo mfsmount para se comunicar com o servidor de gestão (para receber e modificar metadados do arquivo) e com chunkservers (para troca de dados de arquivos reais).
mfsmount é baseado no mecanismo FUSE (Filesystem no espaço de usuário), então MooseFS está disponível em todos os sistemas operacionais com uma implementação FUSE trabalho (Linux, FreeBSD, MacOS X, etc.)
Os metadados são armazenados na memória do servidor de gerenciamento e, simultaneamente, salvo em disco (como um arquivo binário atualizado periodicamente e imediatamente atualizado registros incrementais). O principal arquivo binário, bem como os logs são sincronizados com os metaloggers (se houver).
Dados do arquivo é dividido em fragmentos (pedaços) com um máximo de 64MiB cada. Cada pedaço é um arquivo em discos selecionados em servidores de dados (chunkservers).
Alta confiabilidade é conseguido configurando como muitos servidores de dados diferentes, conforme apropriado para perceber o valor de "meta" (número de cópias para manter) definidas para o arquivo dado.
como funciona o sistema
Todas as operações de arquivo em um computador cliente que tenha montados MooseFS são exatamente o mesmo que eles estariam com outros sistemas de arquivos. O kernel do sistema operacional transfere todas as operações de arquivo para o módulo FUSE, que se comunica com o processo de mfsmount. O processo mfsmount comunica através da rede, posteriormente, com o servidor de dados e servidores de gerenciamento (servidores do pedaço). Todo este processo é completamente transparente para o utilizador.
mfsmount se comunica com o servidor de gerenciamento de cada vez que uma operação em metadados do arquivo é necessário:
& Nbsp; * criação de arquivos
& Nbsp; * a exclusão de arquivos
& Nbsp; * diretórios de leitura
& Nbsp; * Leitura e alteração de atributos
& Nbsp; * mudando tamanhos de arquivo
& Nbsp; * no início da leitura ou gravação de dados
& Nbsp; * em qualquer acesso a arquivos especiais em MFSMETA
mfsmount usa uma conexão direta com o servidor de dados (servidor pedaço) que armazena o pedaço relevante de um arquivo. Ao escrever um arquivo, depois de terminar o processo de gravação do servidor de gerenciamento recebe informações de mfsmount para atualizar o comprimento de um arquivo e a última modificação.
Além disso, os servidores de dados (servidores) do pedaço comunicar uns com os outros para replicar os dados de modo a atingir o número apropriado de cópias de um ficheiro em máquinas diferentes.
& Nbsp;
TOLERÂNCIA DE FALHAS
& Nbsp;
Os comandos administrativos permitem que o administrador do sistema para especificar o "objetivo", ou o número de cópias que devem ser mantidos, em um nível de diretório ou por arquivo. Definir a meta de mais de um e de ter mais de um servidor de dados irá fornecer tolerância a falhas. Quando os dados do arquivo é armazenado em muitas cópias (em mais de um servidor de dados), o sistema é resistente a falhas ou interrupções de rede temporárias de um único servidor de dados.
Isto, obviamente, não se refere a arquivos com o "objetivo" definido como 1, caso em que o arquivo só vai existir em um único servidor de dados, independentemente de quantos dados servidores são implantados no sistema.
Excepcionalmente arquivos importantes podem ter sua meta definida para um número maior do que dois, o que permitirá que esses arquivos para ser resistente a um colapso de mais de um servidor ao mesmo tempo.
Em geral, o cenário para o número de cópias disponíveis deve ser um a mais que o número previsto de servidores inacessíveis ou fora de ordem.
No caso em que um único servidor de dados apresenta uma falha ou desligamento da rede, os arquivos armazenados dentro dele que tinha pelo menos dois exemplares, permanecerá acessível a partir de outro servidor de dados. Os dados que está agora "sob sua meta" será replicado em outro servidor de dados acessível para fornecer novamente o número necessário de cópias.
Deve notar-se que, se o número de servidores disponíveis é menor do que o "meta" definido por um determinado processo, o número de cópias pretendido não pode ser preservada. Da mesma forma, se houver o mesmo número de servidores, como o objetivo definido atualmente e, se um servidor de dados atingiu 100% de sua capacidade, ele não será capaz de começar a realizar uma cópia de um arquivo que está agora abaixo do seu limiar meta devido a um outro servidor de dados ficar offline. Nestes casos, um novo servidor de dados devem ser ligados ao sistema o mais rapidamente possível, a fim de manter o número de cópias desejado do arquivo.
Um novo servidor de dados pode ser conectado ao sistema, em qualquer momento. A nova capacidade se tornará imediatamente disponíveis para uso para armazenar arquivos novos ou para realizar cópias replicadas de arquivos de outros servidores de dados.
Existem utilitários administrativos para consultar o status dos arquivos no sistema de arquivos para determinar se qualquer um dos arquivos são atualmente abaixo de seu objetivo (determinado número de cópias). Esta utilidade pode também ser usado para alterar o estabelecimento de metas, conforme necessário.
Os fragmentos de dados armazenados nos blocos são versionadas, então re-ligação de um servidor de dados com cópia mais antiga de dados (como se tivesse ficado offline por um período de tempo), não fará com que os arquivos para tornar-se incoerente. O servidor de dados irá sincronizar-se para manter as versões atuais dos blocos, onde os pedaços obsoletos serão removidos eo espaço livre serão realocados para manter os novos blocos.
Falhas de uma máquina cliente (que executa o processo mfsmount) não terá qualquer influência sobre a coerência do sistema de arquivos ou em operações de outro cliente. No pior caso os dados que ainda não foi enviado a partir do computador do cliente não pode ser perdida.
& Nbsp;
PLATAFORMAS
& Nbsp; MooseFS está disponível em todos os sistemas operacionais com uma implementação FUSE de trabalho:
& Nbsp; * Linux (Linux 2.6.14 e até ter o apoio FUSE incluído no kernel oficial)
& Nbsp; * FreeBSD
& Nbsp; * OpenSolaris
& Nbsp; * MacOS X
O servidor principal, servidor metalogger e chunkservers também pode ser executado em Solaris ou Windows com Cygwin. Infelizmente sem FUSE, não será possível montar o sistema de arquivos dentro desses sistemas operacionais

O que é novo nesta versão:.

< li> As mudanças mais importantes são sinal fixo manipulação em módulos de vários segmentos, limites de meta e trashtime em mfsexport.cfg, e uma simples verificação de arquivos de metadados baixado.

O que é novo na versão 1.6.19:

• As alterações substanciais foram introduzidas para a máquina metalogger e metarestore ferramenta para uma melhor integridade dos metadados.
• A barra de progresso da digitalização no CS foi adicionado.
• O nome do mestre agora está resolvido quando a conexão falha.
• Uma nova sessão é criada quando o anterior é perdido.
• Lotes de outras correções de bugs e melhorias foram feitas.

O que é novo na versão 1.6.17:

• Nesta versão nós introduzimos uma gestão cache de dados automática .
• É o suficiente para atualizar apenas o servidor master (sem alterações em servidores do pedaço "ou clientes de código foram feitas).
• O mecanismo de cache de kernel sempre existiu, mas até agora o cache sempre foi desmarcada ao abrir um arquivo. Agora MooseFS controla se para limpá-la ou não, verificando se o arquivo foi modificado ou não por outro cliente. Vejamos alguns cenários.
• Primeiro cenário:
• 1. Um computador lê o arquivo X
• 2. Computer B lê o arquivo X
• 3. A Computer quer ler o arquivo X - deixamos o cache (o arquivo não foi alterado)
• Segundo cenário:
• 1. Um computador lê o arquivo X
• 2. Um computador grava o arquivo X
• 3. A Computer quer tor ler o arquivo X - deixamos o cache (o arquivo foi alterado, mas o computador A sabe sobre essas alterações)
• Terceiro cenário:
• 1. Um computador lê o arquivo X
• 2. Computer B grava o arquivo X
• 3. A Computer quer ler o arquivo X - aqui nós temos que forçar para esvaziar o cache (porque as mudanças foram feitas por computador B e de Computadores A não sabe sobre eles)
• Em ambientes reais primeiro e segundo cenários acontecer por muito mais freqüência do terceiro cenário e é por isso que é razoável para deixar o conteúdo do cache e ganhar o desempenho geral do sistema.
• É claro que existem alguns cenários médios (mas também existia antes) como esta:
• 1. Computador A abre arquivo X e lê-lo completamente (o arquivo permanece no cache)
• 2. Computer B modifica o arquivo X
• 3. Computador A novamente lê o arquivo X (mas sem fechar ou reabri-lo - apenas movendo na posição 0 e relendo-o)
• Nesta situação Computer A obteria os mesmos dados como no passo 1, mas o mesmo também aconteceu em MooseFS antes.
• Um nodatacache atributo também foi introduzida que proíbe armazenar em cache um arquivo. A partir da versão 1.6.17-se arquivos com nodatacache atributo se comportam como arquivos nas versões mais antigas do MooseFS. Este sinalizador pode ser usado com ferramentas mfsseteattr, mfsdeleattr e mfsgeteattr.
• Esta bandeira foi adicionado preventivamente e, provavelmente, você não vai precisar usá-lo. Se depois de algum tempo, parece que este é realmente inútil ele será excluído. Mas se você encontrar qualquer caso / cenário que exige a desativação do mecanismo de cache automática por favor compartilhá-lo conosco.