S3QL

S3QL suporta Amazon S3, bem como servidores SFTP arbitrárias e efetivamente fornece-lhe com um disco rígido de dinâmica, capacidade infinita que pode ser acessado a partir de qualquer computador com acesso à internet.
S3QL está fornecendo um, cheio sistema de arquivos padrão featured UNIX que é conceitualmente indistinguível de qualquer sistema de arquivos local. Além disso, S3QL tem recursos adicionais como compactação, criptografia de dados de duplicação, árvores imutáveis ​​e snapshotting que o tornam especialmente adequado para backup e arquivamento online.
S3QL visa favorecer simplicidade e elegância sobre o desempenho e funcionalidade de fluência. Cuidado foi tomado para tornar o código fonte mais legível e útil possível. Detecção de erros sólida e tratamento de erros foram incluídos a partir da primeira linha, e S3QL vem com extensas casos de testes automatizados para todos os seus componentes.
Antes de um sistema de arquivos pode ser montado, o backend que irá armazenar os dados tem de ser inicializado. Isto é feito com o comando mkfs.s3ql. Aqui nós estamos usando o backend Amazon S3, e nikratio-s3ql-bucket é o balde S3 em que o sistema de arquivos serão armazenados.
mkfs.s3ql s3: // nikratio-s3ql-bucket
Para montar o sistema de arquivos S3QL armazenados no S3 balde nikratio_s3ql_bucket no diretório / mnt / s3ql, digite:
mount.s3ql s3: // nikratio-s3ql-bucket / mnt / s3ql
Agora você pode instruir seu programa de backup favorito para executar um backup para o diretório / mnt / s3ql e os dados serão armazenados uma S3 Amazon. Quando estiver pronto, o sistema de arquivos tem que ser desmontado com
umount.s3ql / mnt / s3ql

Características :

• Transparência. Conceitualmente, S3QL é indistinguível de um sistema de arquivos local. Por exemplo, ele suporta hardlinks, links simbólicos, permissões totais unix, atributos estendidos e tamanhos de arquivos de até 2 TB.
• Dinâmica Size. O tamanho de um sistema de arquivos S3QL aumenta e diminui dinamicamente conforme necessário.
• Compression. Antes do armazenamento, todos os dados podem comprimido com o LZMA, BZIP2 ou algoritmo LZ.
• Criptografia. Após a compressão (mas antes de upload), todos os dados podem AES criptografada com uma chave de 256 bits. Uma soma de verificação SHA256 HMAC adicional é utilizado para proteger os dados contra a manipulação.
• deduplicação de dados. Se vários arquivos têm conteúdo idêntico, os dados redundantes serão armazenados apenas uma vez. Isso funciona em todos os arquivos armazenados no sistema de arquivos, e também se apenas algumas partes dos arquivos são idênticos, enquanto outras partes são diferentes.
• Árvores imutáveis. Árvores de diretórios podem ser feitas imutável, de modo a que os seus conteúdos não podem mais ser alteradas de forma alguma. Isto pode ser utilizado para assegurar que os apoios não podem ser modificados depois de terem sido feitas.
• Copy-on-Write / snapshotting. S3QL pode replicar árvores inteiras sem usar qualquer espaço de armazenamento adicional. Só no caso de um dos exemplares é modificado, a parte dos dados que tenha sido modificado vai ocupar espaço de armazenamento adicional. Isto pode ser usado para criar instantâneos inteligentes que preservam o estado de um directório em diferentes pontos no tempo usando uma quantidade mínima de espaço.
• High independente do desempenho de latência de rede. Todas as operações que não escrever nem ler o conteúdo do arquivo (como a criação de diretórios ou mover, renomear e alterar as permissões de arquivos e diretórios) são muito rápidos, porque eles são realizadas sem quaisquer transações de rede.
• S3QL consegue isso, salvando todo o arquivo e estrutura de diretórios em um banco de dados. Este banco de dados é armazenado em cache localmente e a cópia remota atualizado de forma assíncrona.
• O suporte para conexões de baixa largura de banda. S3QL divide o conteúdo do arquivo em blocos menores e armazena em cache blocos localmente. Isso minimiza tanto o número de operações de rede necessários para dados de leitura e escrita, e a quantidade de dados que tem de ser transferido quando apenas partes de um arquivo são lidos ou escritos.

O que é novo nesta versão:

• As tentativas de atualizar um sistema de arquivos que já está na revisão mais nova já não tornar os metadados locais copiar inutilizável.
• Google nomes balde de armazenamento contendo pontos já não causar problemas com a validação do certificado SSL.
• Corrige uma falha quando statvfs () é chamado em um sistema de arquivos quase vazio.
• Há um novo & quot; swiftks & quot; backend para OpenStack / servidores Swift.
• Elimina uma condição de corrida que poderia levar a mount.s3ql bater com um & quot; KeyError em coleções / abc.py & quot;.
• Corrige uma falha que pode ocorrer quando a tentar limpar depois de receber um erro de conexão ou servidor ao fazer upload de um objeto.

O que é novo na versão 2.2:

• S3QL agora usa conexões SSL por padrão e verifica certificados de servidor.
• A condição de corrida que resultou em uma perda aparente de metadados remoto foi corrigido.
• O backend S3 agora elimina vários objetos de armazenamento usando um pedido, se possível, reduzindo a latência, tráfego e número de requisições para S3.
• S3QL agora é capaz de detectar erros de servidor e redirecionamentos antes de todos os dados terem sido enviados para o servidor.
• Um novo backend 'rackspace' que permite a especificação da região de armazenamento de objetos na URL de armazenamento foi adicionado.
• A opção --compress mount.s3ql agora permite a especificação do nível de compressão.

O que é novo na versão 1.15:

• Ciclismo de backups de metadados ao usar o backend local, agora leva muito menos tempo.
• não é mais necessário que S3QL e Python APSW estar ligada à biblioteca compartilhada mesmo SQLite.
• Em mount.s3ql, uma falha ao usar --metadata-upload-intervalo de 0 foi corrigido.
• Em vez de desmontar completamente o sistema de arquivos (e deixando o ponto de montagem inacessível) quando os dados de back-end está ausente ou corrompido, S3QL agora retorna um erro e muda para somente leitura operação.

O que é novo na versão 1.13:

• Esta versão corrige um bug que causou metadados malformado a ser escrito quando o uso de versões EGLIBC recentes.
• Ele corrige problemas ao tentar acessar um diretório na raiz do sistema de arquivos que foi recentemente removido com s3qlrm.
• apoio Ostensivo ACL foi removido.
• Esta versão melhores alças baldes com nomes DNS inválido.
• Ele tentará novamente se o DNS não está disponível.

O que é novo na versão 1.11.1:

• Esta versão corrige uma falha ao usar o backend S3 (regressão introduzida na versão 1.11), aumenta o tamanho mínimo relatou sistema de arquivos para 1 TB, e trabalha em torno de um bug df assim tamanho é relatado corretamente.

O que é novo na versão 1.11:

• Os metadados sobre objetos armazenados está agora dividida em vários campos, de modo nenhum campo é mais de 256 bytes. (Isso faz com que S3QL compatível com uma ampla gama de fornecedores de armazenamento). O backend SWIFT agora tenta se receber 5xx códigos de erro do servidor remoto, e não falha ao tentar fazer upload de dados com um token de autenticação expirado.

O que é novo na versão 1.10:

• Os S3S, s3cs e backends GSS foram removidos. Use a nova opção --ssl juntamente com os backends S3, S3C, e GS vez.
• S3QL já não mantém registro de garantias de consistência para os diferentes backends.
• O número crescente de provedores de armazenamento diferentes, oferecendo diferentes regiões, redundância e níveis de disponibilidade faz com que este já não é viável.
• O Guia do Usuário contém uma nova seção, & quot; Regras importantes para evitar perdas de dados & quot;.
• A leitura é altamente recomendável.

O que é novo na versão 1.9:

• Esta versão faz vezes de arquivo já não mudar quando mudar o sistema fuso horário, corrige e melhora contrib / benchmark.p, corrige os & quot; Muitos redirecionamentos acorrentados & quot; bug, tentativas de erros do servidor 5xx, e adiciona suporte experimental nativo para servidores OpenStack / SWIFT e suporte a proxy experimental.

O que é novo na versão 1.8:

• A & quot; ValueError: Não é possível despejar valores NULL & quot; acidente quando metadados do sistema de arquivo foi enviado durante a atividade do sistema de arquivos pesados ​​foi corrigido.
• s3qlcp e listagem de diretório desempenho para grandes diretórios foram melhorados.
• Uma regressão desempenho rm foi corrigido.
• -. Blocksize foi renomeado para --max--size obj
• Alguns acidentes que aconteceram sob o uso do sistema de arquivos fortemente concorrente foram corrigidos.
• python-llfuse 0,37 é usado agora.

Limitações :

• Há ainda uma abundância de bugs no código e você deve estar preparado para lidar com eles. No entanto, você pode estar razoavelmente confiantes de que os bugs (embora inconveniente) não prejudique seus dados armazenados.