Pcompress

Pcompress é um utilitário de linha de comando compressão paralela open source, descompressão e desduplicação, dividindo os dados de entrada em pedaços.
Pcompress apresenta compressão Delta, a opção de bloco fixo, compressão de metadados, suporte para vários algoritmos, incluindo LZMA, LZMA-multithreaded, PPMD, Bzip2 ou LZ4, forte integridade de dados, filtros, Matrix transformar, criptografia, autenticação de mensagens, metadados, processamento sobreposto, costume alocador, modo contínuo, estofamento, e muito mais

O que é novo nesta versão:.

• Este é um grande lançamento que caracteriza o arquivamento apoio com base em libarchive. Técnicas avançadas são usadas para detectar tipos de arquivo e usar algoritmos apropriados para compactar melhor. Filtros como PackJPG para JPEG e Dispack para executáveis ​​são usados ​​para melhorar compressibilidade. Algumas heurísticas ajudar a detectar dados já comprimidos e evitar passos de compressão caros. Entradas de arquivo também são classificados para agrupar conteúdo relacionado e conseguir uma melhor compressão. Limites da divisão de dados para vários segmentos paralelos são determinados a partir de tipo de arquivo e as mudanças de hash rolantes. Técnicas MMAP e Zero-Cópia são usados ​​internamente sempre que possível para melhorar o desempenho. Algumas otimizações também ter sido feito para reduzir o uso de memória. Usage foi simplificada com a maioria dos recursos automaticamente configurado com base no nível de compressão.
• Com essas mudanças Pcompress podem agir como um compactador de pleno direito, como tar ou cpio e proporcionar melhores taxas de compressão e um melhor desempenho do que o modo de compressão de arquivo único. Pcompress compara muito favoravelmente com outros utilitários principais Arquivador.

O que é novo na versão 2.4:

• Esta versão corrige vários problemas, incluindo alguns casos canto acidentes e um par de buffer overflows.
• desduplicação de dados agora pode ser feito usando blocos tão pequenas quanto 2 KB, proporcionando um rácio dedupe muito maior do que praticamente qualquer outro software de desduplicação.
• desempenho desduplicação baseada Similaridade foi melhorado.
• precisão de detecção Memória livre também foi melhorado.

O que é novo na versão 2.3:

• Esta versão corrige alguns bugs e fornece várias melhorias na eficiência e desempenho.
• A eficácia de detecção de similaridades de similaridade baseada quase exata desduplicação foi melhorado.
• Ao mesmo tempo os requisitos de memória para o índice foi reduzido.
• Precisão de particionamento de dados entre threads foi melhorado.
• Arrancamento e desempenho de indexação foram melhorados ea computação KMV Sketch é agora mais preciso.
• Esta versão move toda a funcionalidade do núcleo em uma biblioteca compartilhada, em preparação para uma interface API que será introduzido em versões futuras.

O que é novo na versão 2.2:.

• Isto é principalmente uma versão de correções
• Ela corrige algumas falhas com entrada inválida e construir problemas em Debian6 e processadores mais antigos não-SSE4.
• A correspondência de similaridade baseada Min-heap para Delta Encoding foi melhorada e mais rápida e precisa.
• Precisão do escalável Segmentada Global Deduplication foi melhorada para ser maior que 95%.
• Mais testcases foram adicionados.

O que é novo na versão 2.1:.

• Esta versão adiciona muitas correções de bugs e melhorias de desempenho
• Precisão em encontrar duplicatas em global Dedupe foi melhorado.
• SHA256 é agora o algoritmo de hash padrão do bloco para dedupe, com a capacidade de alterá-la separadamente a partir do hash verificação pedaço.
• No geral, muitas melhorias de desempenho têm sido feitas, com melhor paralelismo, mais SSE vetorização, e mais rápido de triagem e melhorar a manipulação de arquivos lista de hash segmento, resultando em menor I / O e menos acessos aleatórios.
• Bugs no cálculo in-memory size índice foi corrigido para evitar transbordamento RAM livre e trocando para o disco.