sCrawler

Há um sem número de razões pelas quais uma pessoa ou empresa iria querer usar software web crawler. Este tipo de programa navega na web de uma forma designada que poderia ser automatizado, metódico ou de uma forma ordenada. Se você é novo para o termo software rastreador web, talvez você já ouviu falar de aranhas, robôs, formigas, índices automáticos, robôs ou scutters? Eles são todos basicamente a mesma coisa!
O Propósito do Software Web Crawler

Quando você pensa em web software rastreamento, você provavelmente imaginar os grandes motores de busca como o nome Google, Bing e Yahoo. Seus bots rastejar através de páginas da web para determinar o conteúdo, relevância e indexação. Com a criação de uma cópia de páginas visitadas, eles podem fornecer pesquisas mais rápidas e mais precisas. SqrBox vai dizer que você certamente não precisa ser um motor de busca para ter uma necessidade de software web crawler. Você simplesmente tem que ser alguém que tenha a necessidade de reunir grandes quantidades ou informações extremamente complicado.
Tipos de Software Web Crawler

Se você está pensando em usar os serviços de uma empresa profissional, como SqrBox, você realmente não precisa se preocupar com todo o jargão complicado em relação ao software rastreador web. Ainda assim, é útil entender algumas coisas sobre ele.

Crawling Focused - O objetivo deste tipo de software web crawler é o download de páginas que aparecem para conter informações semelhantes. Muitas vezes há algumas falhas associadas a este método embora e o desempenho real do rastreador e os resultados são dependentes de quão rico os links estão nesse tópico específico que está sendo pesquisado. Este tipo de software web crawler é frequentemente utilizado como um ponto de partida para limitar pesquisas para rastreamento mais.

Normalização URL - software rastreador web, muitas vezes, realizar algum nível de URL normalização que ajuda a reduzir crawling repetitivo da mesma fonte de mais de uma vez.

Restringindo Links seguidos - Em alguns casos, o software rastreador web pode querer evitar certos conteúdos web e só procurar páginas .html. Para fazer isso, a URL é freqüentemente examinadas e, em seguida, os recursos só será solicitado se há certas personagens da URL, como .html, .asp, .htm, .php, aspx, .jspx ou .jsp. software rastreador web normalmente ignorar recursos com um "?" . para evitar armadilhas aranha

Requisitos :

.NET Framework 3.5