O gargalo de custo em web scraping
Em projetos de coleta massiva de preços e catálogos, o gargalo raramente é CPU ou memória: é a fatura de banda de proxies residenciais rotativos, cobrada em dólares por gigabyte.
1. Bloqueio cirúrgico de assets no Puppeteer
Imagens de alta resolução, fontes web pesadas, vídeos promocionais e scripts analíticos consom até 75% da banda de uma página de produto.
2. Coleta incremental por checksum
Comparar o hash do bloco de listagem antes de abrir cada item detalhado evita requisições redundantes quando nada mudou.