Ir para o conteúdo

Website Downloader com Node.js e wget

O Website Downloader é um utilitário Node.js que permite baixar o código‑fonte completo de qualquer site, incluindo todos os assets (JavaScript, CSS, imagens), utilizando wget e archiver, e enviando o resultado compactado ao usuário através de um canal socket.

Como funciona

O core do downloader executa o comando wget com um conjunto de flags que garantem um espelhamento adequado para visualização offline. Depois, o pacote archiver cria um arquivo ZIP contendo todos os recursos baixados.

Principais flags do wget

  • --mirror – torna o download recursivo e preserva a estrutura do site.
  • --convert-links – converte todos os links para relativos, permitindo navegação offline.
  • --adjust-extension – adiciona extensões corretas aos arquivos com base no tipo de conteúdo.
  • --page-requisites – baixa recursos necessários para exibir a página (CSS, imagens, etc.).
  • --no-parent – impede que o wget suba para diretórios pai, limitando o escopo ao site informado. 
wget --mirror --convert-links --adjust-extension --page-requisites --no-parent http://exemplo.org

Após o término, o archiver compacta a pasta resultante e o servidor Node.js envia o ZIP ao cliente via socket.

Deploy em provedores cloud

O repositório já possui botões de deploy pronto para uso nas seguintes plataformas:

  • Replit
  • Glitch
  • Railway
  • Cyclic
  • Koyeb
  • Render

Basta clicar nos respectivos ícones no README ou usar os links fornecidos para iniciar o despliegue automático.

Dica

Ao usar o serviço em plataformas gratuitas, verifique os limites de tempo de execução e de saída de dados, pois o download de sites grandes pode consumir muitos recursos.

Atencao

Respeite sempre os termos de serviço e o robots.txt do site alvo. O downloader deve ser utilizado apenas para fins legais e com permissão do proprietário do conteúdo.

Pontos-chave

  • Utiliza Node.js, wget e archiver para espelhar e compactar sites.
  • Suporta deploy instantâneo em Replit, Glitch, Railway, Cyclic, Koyeb e Render.
  • Oferece demonstração ao vivo para testes rápidos sem instalação local.
  • Inclui flags do wget que garantem cópia offline fiel e sem links quebrados.
  • Requer atenção às políticas de uso dos sites baixados para evitar violações de termos de serviço.

Ferramentas e Tecnologias

  • [[wget]]
  • [[archiver]]
  • [[Replit]]
  • [[Glitch]]
  • [[Railway]]
  • [[Cyclic]]
  • [[Koyeb]]
  • [[Render]]

Nota pessoal

https://github.com/AhmadIbrahiim/Website-downloader

Tags

downloader #wget #deploy #cloud