robots.js

robots.js 0.9.4

Pode ser usado para tirar dados de um arquivo robots.txt e alimentá-lo para outros aplicativos ou ferramentas estatísticas.Irá extrair URL alvo, razão para dados de acesso e de status O que é novo nesta versão:. Puxadores http (s ) erros de...

Leia mais