Scrapy

Scrappy é escrito 100% em Python e pode ser utilizado para a mineração de dados simples, para monitoramento página, os motores de busca da Web e até mesmo para o teste de código.
Scrapy não é um motor de busca, no verdadeiro sentido da palavra, mas ele age como um (sem a parte de indexação). No entanto Scrapy pode ser uma grande ferramenta para construir o seu motor de busca na lógica.
O verdadeiro poder desta estrutura se baseia na versatilidade do seu núcleo, Scrapy ser um sistema sobre o qual construir genéricos ou dedicados aranhas de busca (crawlers) no.
Embora isso possa soar muito complicado para usuários não-técnicos, com um olhar rápido sobre a documentação e tutoriais disponíveis, é muito simples para ver como Scrapy conseguiu tirar todo o trabalho duro fora deste e reduzir todo o processo para apenas algumas linhas de código (para facilitar, esteiras rolantes menores)

O que é novo nesta versão:.

• trajeto pedido Unquote antes de passar para FTPClient, já escapar caminhos.
• Inclua testes / a fonte de distribuição em MANIFEST.in.

O que é novo na versão 1.0.1:

• Unquote caminho da solicitação antes de passar para FTPClient, já escapar caminhos.
• Inclua testes / a fonte de distribuição em MANIFEST.in.

O que é novo na versão 0.24.6:

• Adicione UTF8 cabeçalho de codificação de templates
• consola Telnet agora se liga ao 127.0.0.1 por padrão
• Atualização debian / ubuntu instalar instruções
• Desativar cordas inteligentes em avaliações lxml XPath
• Restaurar cache com base sistema de arquivos como padrão para o cache de HTTP middleware
• Exposé rastreador atual em Scrapy shell
• Melhorar testsuite comparando CSV e exportadores XML
• New offsite / filtrada e estatísticas offsite / domínios
• process_links de apoio como gerador em CrawlSpider

O que é novo na versão 0.24.5:

• Adicione UTF8 cabeçalho de codificação de templates
• consola Telnet agora se liga ao 127.0.0.1 por padrão
• Atualização debian / ubuntu instalar instruções
• Desativar cordas inteligentes em avaliações lxml XPath
• Restaurar cache com base sistema de arquivos como padrão para o cache de HTTP middleware
• Exposé rastreador atual em Scrapy shell
• Melhorar testsuite comparando CSV e exportadores XML
• New offsite / filtrada e estatísticas offsite / domínios
• process_links de apoio como gerador em CrawlSpider

O que é novo na versão 0.22.0:

• Renomear scrapy.spider.BaseSpider para scrapy.spider .Spider
• Promover Informação inicialização das configurações e middleware a nível INFO
• Suporte parciais em get_func_args util
• Permitir a execução de testes indiviual via toxicológico
• Atualizar extensões ignoradas pelo link de extratores
• Seletores registrar namespaces EXSLT por padrão
• Unificar Carregadoras de itens similares para seletores de mudança de nome
• Faça classe RFPDupeFilter facilmente de sub-classe
• Melhorar a cobertura de teste e futura apoio Python 3

O que é novo na versão 0.20.1:

• include_package_data é necessário para construir rodas de fontes publicadas.

O que é novo na versão 0.18.4:.

• Fixo AlreadyCalledError substituindo um pedido no comando shell
• lazyness start_requests Fixo e início trava.

O que é novo na versão 0.18.1:.

• Removido importação extra adicionado por cherry pegou alterações
• Fixo rastejando testes sob trançado pré 11.0.0.
• py26 não pode formatar zero de campos de comprimento {}.
• erros Teste PotentiaDataLoss sobre as respostas não ligados.
• Trate as respostas sem conteúdo de comprimento ou Transfer-Encoding como boas respostas.
• Será que não incluem ResponseFailed se http11 manipulador não está habilitado.

Requisitos :

• Python 2.7 ou superior
• torcida 2.5.0 ou superior
• libxml2 2.6.28 ou superior
• pyOpenSSL