Spidr

O script pode ser executado em uma única página, site, vários domínios ou até mesmo non-stop.
Spidr é projetado para ser fácil de usar e rápido

Recursos :.

• Restaurar a fila spidering e história de uma sessão anterior .
• Personalizado cordas User-Agent.
• configurações de proxy personalizado.
• HTTPS apoio.


• Consequência:
• Uma tags.
• tags iframe.
• tags de quadros.
• ligações protegidas biscoito.
• HTTP 300, 301, 302, 303 e 307 redirecionamentos.
• Meta-refresh redirecionamentos.
• HTTP autenticação básica ligações protegidas.

Lista negra ou lista branca URLs com base em:
• esquema de URL.
• nome do host
• O número da porta
• link completo
• extensão de URL


• Fornece call-backs para:
• cada página visitada.
• Cada URL visitados.
• Cada URL visitado que corresponde a um padrão especificado.
• Cada origem e destino URI de um link.
• Cada URL que falhou a ser visitado.


• Fornece métodos de ação para:
• Pausa spidering.
• Ir processamento de páginas.
• Ir processamento de links.

O que é novo nesta versão:

• Assista OpenSSL :: :: SSL exceções SSLError quando iniciada HTTPS Sessões.