wgrab

É uma ferramenta avançada com base no comando wget clássico UNIX.
Em vez da maneira não especificada, em que Downloads 'wget -r' e armazena tudo, wgrab permite ao desenvolvedor usar iteração sobre datas e números, bem como expressões regulares.

O que é novo nesta versão:

• Para que o recurso K (armazenamento de 'conhecidos' URLs não queremos chegar de novo), apenas os novos são acrescentados ao apresentar agora (em vez de reescrevê-lo completamente). isso torna menos propenso a erros para executar trabalhos wgrab simultâneas com o mesmo arquivo "conhecido".
• Novo recurso --printFirstSave imprime o (padrão gerado) nome do primeiro arquivo salvo para stdout. Quando wgrab é usado de outro script em conjunto com -A (saveAll) para obter, reescrever e armazenar uma subárvore inteira, o nome do arquivo impresso pode ser usado para gerar um ponto de entrada para os documentos guardados.

Limitações :.

• Não use em arquivos grandes