Jug

Jug é uma implementação Python do quadro MapReduce (agora uma parte padrão de Hadoop ), permitindo que os desenvolvedores a escrever código que pode ser executado em diferentes formas de paralelização.
Isso significa que o código que pode ser executado em paralelo na mesma máquina, ou em um cluster de computação (várias máquinas).
Jug permite que os desenvolvedores organizar o código em pedaços menores, e selecionando onde, como e quando ele será executado.
Embora isso possa ser mais alto para pequenos sites e aplicativos, esse comportamento pode ser muito útil em aplicações com uma alta carga de tráfego ou que lidar com grandes quantidades de dados.
Jug pode trabalhar e armazenar dados localmente através da unidade de disco rígido, ou pode usar o armazenamento remoto. Para o caso mais tarde, o Redis banco de dados é suportado

Características :.

• armazenamento de dados persistente apoio
• reutiliza resultados parciais
• apoio de simultaneidade
• armazenamento de dados local
• armazenamento de dados remoto
• verificador de estado Operação

O que é novo nesta versão:

• correções Python 3 de compatibilidade
• fsync (diretório) em arquivo backend
• ganchos Jarro (na sua maioria ainda em situação irregular, mas já que permite a simplificação do código interno)

O que é novo na versão 0.9.7:

• Fix uso de subclasses numpy
• Redis Fix URL parsing
• Fix `` shell`` para versões mais recentes do IPython
• corretamente voltar a cair não sqlite `` status``

O que é novo na versão 0.9.6:

• decodificação Faster
• roteiro jug-executar Adicionado
• Adicionado descrever () function
• Adicionado write_task_out () function

O que é novo na versão 0.9.1:

• Adicionado `` webstatus`` subcomando
• Adicionado bvalue () function
• Corrigido o erro em `` subcomando shell`` (`` value`` não estava no namespace global)
• Melhoria da identidade ()
• Corrigido o erro no uso de tasklets e --aggressive-descarga
• Corrigido o erro com tasklets e dormir, até / verificação

O que é novo na versão 0.9:

• Na presença de uma barreira (), execute novamente o jugfile . Isto faz barreira muito mais fácil de usar.
• Adicionado set_jugdir a API pública.
• Adicionado CompoundTaskGenerator.
• subclassificação Suporte de tarefas.
• Evite criar diretórios em arquivo backend a menos que seja necessário.
• Adicionar jug.mapreduce.reduce (que imita o builtin reduzir).

O que é novo na versão 0.8.1:

• Redis Fix backend para nova versão do módulo cliente
• Faster armazenamento de arquivo para arquivos grandes
• Fix `invalidate` com tasklets
• Instale testes e tê-los ser executável
• haxixe Alterado método de cálculo. Isto tem um caso especial em arrays numpy
• (para velocidade) e é mais extensível através de um gancho __jug_hash__
• bug Fix com Tasklet não dependências a ser devidamente tidas em conta
• shell Fix subcomando em versões mais recentes do ipython
• Adicionar __file__ atributo de falsificar jugmodule

O que é novo na versão 0.8:

• tasklets
• Corrigir erros no sono e até limpeza
• Corrigir erros com CompoundTask (o que era necessário para executar jarro executar duas vezes antes).

O que é novo na versão 0,8-b0:

• tasklets - Corrigir erros do sono de até e limpeza .

O que é novo na versão 0.7.4:

• caso Fix onde ~ / .jug / configrc faz não existe.
• Imprimir o nome do host para bloquear arquivo em file_store.
• Refatorada implementação de opções.
• tarefas Fix descarga que não foram executados.
• mapreduce Fix para a entrada vazia.

O que é novo na versão 0.7.3:.

• Parse ~ / .jug / configrc
• bug Fix com tempos de espera.
• Caso especial de poupança de arrays numpy.
• Adicionar sintaxe jugdir mais expressivo.
• Salve dict_store backend para o disco.

O que é novo na versão 0.7.2:.

• arquivos ausentes incluído na distribuição

O que é novo na versão 0.7.1:.

• sono até subcomando
• Fix para barreira () e interação mapreduce.
• melhoria Documentação.

O que é novo na versão 0.7:

• Melhor `` comando shell``
• método Reescrita para jugfiles carregamento
• Tarefas tem função original acessível como `f`

O que é novo na versão 0.6.9:.

• Novo comando de seleção
• load_all () dentro do escudo.

O que é novo na versão 0.5.2:.

• Novo comando `shell`
• Compression em Redis backend.
• Melhorias na velocidade para 'invalidar' comando.

O que é novo na versão 0.5.1:

• Redis backend
• dependências dicionário
• Mudou interface de linha de comando (comando jarro jugfile ...)

Requisitos :

• Python 2.6 ou superior