Hadoopy

É basicamente uma biblioteca Python para MapReduce escrito em Cython

Recursos :.

• interface semelhante como o Hadoop API (padrões de projeto utilizáveis ​​entre as interfaces Python / Java)
• compatibilidade geral com dumbo para permitir aos usuários alternar
• Pode ser usado em clusters Hadoop sem Python ou acesso de administrador
• Conversão rápida e processamento
• Mantenha-se pequeno e bem documentado
• Seja transparente com o que está acontecendo
• programas Handle com .so complicadas, de ctypes e extensões
• O código escrito para hack capacidade
• Acesso simples HDFS (por exemplo, leitura, escrita, ls)
• Support (e não replicar) o maior ecossistema Hadoop (por exemplo, Oozie, whirr)
• paralelização trabalho automatizado 'auto-Oozie' disponível no projeto de fluxo hadoopy (mantido fora do ramo)
• execução local de trabalho MapReduce não modificada com launch_local
• Leia arquivos / gravação da sequência de TypedBytes diretamente para HDFS de python (readtb, writetb)
• Permite a impressão para stdout e stderr em tarefas Hadoop sem causar problemas (utiliza a técnica de "tubo de salto ', ambos estão disponíveis no stderr da tarefa)
• Trabalhos em grupos sem qualquer instalação extra, Python, ou qualquer biblioteca Python (usa PyInstaller que está incluído nesta árvore de origem)
• Funciona em OS X
• caminho crítico é em Cython
• Acesso simples HDFS (readtb e ls) dentro Python, mesmo dentro de executar trabalhos
• interface de teste Unidade

(Declarações e de impressão! Não há necessidade de ter medo deles em Hadoopy)
• Relatórios usando status e contadores
• Suporta padrões de design no livro de Lin & Dyer
• Typedbytes apoio (muito rápido)
• Suporte Oozie

Requisitos :

• Cython 0.13 ou superior