Alguém envia-te um link para um diretório com 900 entradas e pede-te para as transferir para uma folha de cálculo até amanhã.
Podias criar um scraper. Também podias copiar e colar durante três horas. Ou podias instalar uma extensão gratuita do Chrome, clicar quatro vezes e ter um ficheiro CSV em noventa segundos.
O Instant Data Scraper, desenvolvido pela WebRobots, é a terceira opção. Analisa a página em que te encontras, identifica qual a parte que contém os dados e exporta o resultado para CSV ou Excel. Não é necessário criar uma conta, não há código e é gratuito.
É também a ferramenta que a maioria das pessoas deixa de utilizar ao fim de um mês, e as razões são suficientemente consistentes para serem previsíveis.
Este guia aborda o que a extensão faz, como utilizá-la corretamente, os cinco pontos específicos em que deixa de funcionar e o que fazer em cada um deles.
Publicamos isto enquanto Geonode, um fornecedor de proxies residenciais. Os proxies são relevantes para exatamente um dos cinco pontos de falha abaixo, e o artigo indica qual — para os outros quatro, a resposta é uma ferramenta completamente diferente.
O que o Instant Data Scraper faz realmente
A extensão resolve um problema específico: transformar estruturas repetitivas numa página web em linhas de uma folha de cálculo.
A maioria dos dados na web apresenta-se em padrões — grelhas de produtos, resultados de pesquisa, listas de diretórios, fios de comentários, tabelas de preços. Cada item partilha a mesma estrutura HTML que os seus vizinhos. O Instant Data Scraper procura essas estruturas repetidas e deduz que são os dados que pretende.
Não precisa de escrever seletores. Não precisa de abrir as ferramentas de programador. A extensão faz uma suposição, mostra-lhe uma tabela de pré-visualização e pode aceitá-la ou indicar-lhe um bloco diferente na página.
O que está incluído
Detecção automática. A extensão analisa a página e sugere o que extrair, o que elimina o passo que impede a maioria dos utilizadores que não são programadores.
Gestão da paginação. Aponte para o botão «próxima página» e a extensão percorre a sequência por si própria, acrescentando linhas à medida que avança.
Deslocamento infinito. Para páginas que carregam mais conteúdo à medida que se desloca, em vez de utilizarem paginação, a extensão consegue continuar a deslocar-se e a recolher dados.
Controlo de colunas. Renomeie colunas, oculte as que não deseja e filtre antes de exportar.
Exportação para CSV e Excel. Diretamente para XLS, XLSX ou CSV.
Gratuito, sem níveis de acesso. Sem conta, sem período de teste, sem limite de linhas. Isso é suficientemente invulgar para merecer ser referido claramente.
O que não é
Não é um programador — não pode ser executado automaticamente todas as noites. Não é uma API — nenhum sistema a jusante pode chamá-lo. Não é um rastreador — funciona na página que está a visualizar, não em todo o site. E não resolve o bloqueio, porque utiliza a sua própria ligação.
Como utilizar em quatro passos
1. Abra a página que contém os dados
Aceda à lista propriamente dita, não à página inicial do site. Se os dados estiverem disponíveis após uma pesquisa, faça a pesquisa primeiro. Se estiverem disponíveis após um início de sessão que já tenha, inicie sessão primeiro — a extensão vê tudo o que o seu navegador vê.
Defina o tamanho da página para o máximo que o site permitir antes de começar. Um site que ofereça «100 por página» em vez de «20» reduz o seu trabalho de paginação em quatro quintos.
2. Inicie a extensão e verifique a sugestão
Clique no ícone da extensão. Esta analisa a página e apresenta uma tabela de pré-visualização.
A suposição está correta na maioria das vezes em layouts convencionais. Quando está errada, normalmente captou um menu de navegação ou uma barra lateral em vez do conteúdo principal — a extensão apresenta outras tabelas detetadas, por isso percorra-as até que a pré-visualização corresponda ao que realmente pretende.
Verifique a pré-visualização cuidadosamente antes de prosseguir. Confirme se o número de linhas parece plausível, se as colunas estão alinhadas e se nada está deslocado em uma posição. Detetar um desalinhamento agora evita ter de repetir todo o processo.
3. Configurar a paginação ou a rolagem
Para sites com paginação, utilize o controlo «Localizar a seguir» e clique no botão de página seguinte do próprio site. A extensão regista esse elemento e reutiliza-o.
Para rolagem infinita, mude para o modo de rolagem.
Defina deliberadamente o atraso entre páginas. O valor predefinido é rápido. Aumentá-lo para dois ou três segundos é a alteração mais valiosa que pode fazer — reduz drasticamente a probabilidade de ser limitado pela taxa de acesso a meio do processo e, num trabalho de 40 páginas, custa-lhe dois minutos.
4. Executar e exportar
Inicie o rastreio e não toque no separador. A extensão precisa que a página esteja aberta e ativa; mudar de separador ou colocar o computador em modo de suspensão pode interromper o processo.
Quando terminar, renomeie e elimine colunas e, em seguida, exporte para CSV ou XLSX.
Verifique o resultado antes de o utilizar. Compare o número de linhas com o indicado pelo site, verifique aleatoriamente algumas linhas em relação à página ativa e analise especificamente a última página — o truncamento aparece no final.
O que faz bem
Ser preciso quanto ao ponto forte é mais útil do que uma lista de funcionalidades.
Extrações pontuais. Uma única lista de que precisa uma vez, hoje. O tempo de configuração é inferior a um minuto, algo que nenhuma abordagem baseada em scripts consegue igualar.
Layouts convencionais. Tabelas renderizadas pelo servidor, grelhas de produtos, listas de diretórios, resultados de pesquisa — qualquer coisa com uma estrutura clara e repetitiva.
Volumes pequenos a médios. Até algumas milhares de linhas distribuídas por algumas dezenas de páginas é um volume confortável.
Utilizadores sem conhecimentos técnicos. Este é o verdadeiro valor. Alguém que nunca abriu um terminal consegue extrair dados estruturados de um site em minutos, o que elimina um estrangulamento que, de outra forma, recairia sobre um programador.
Trabalho exploratório. Antes de dedicar tempo de engenharia a um scraper, a extensão responde à pergunta «será que estes dados têm mesmo a forma que eu penso que têm?» em noventa segundos.
Se o seu trabalho se enquadra nesta descrição, pare de ler aqui — a extensão é a resposta certa e tudo o que se segue diz respeito a problemas que não tem.
Onde o sistema falha
Cinco pontos de falha, pela ordem em que a maioria das pessoas os encontra.
1. Volume
A extensão funciona no teu navegador à velocidade do navegador, numa página de cada vez. Algumas dezenas de páginas não são problema. Algumas milhares significam deixar um separador aberto durante horas, sem possibilidade de retomar o processo de forma correta caso este pare.
Não há paralelismo, nem fila, nem ponto de verificação. Um rastreio que falha na página 300 de 400 significa, normalmente, ter de recomeçar do início.
2. Limitação de taxa e bloqueios
É neste ponto que os proxies são a verdadeira solução, pelo que lhe é dedicado mais espaço.
Cada pedido é enviado a partir do seu próprio endereço IP. Os sites que monitorizam as taxas de pedidos veem um único endereço a efetuar pedidos constantes, com intervalos regulares e estruturalmente idênticos — o que não corresponde ao comportamento de navegação humana.
O que se segue é, normalmente, um CAPTCHA, depois uma limitação de tráfego e, por fim, um bloqueio temporário. Num site que é importante para o seu negócio, ter o IP do seu escritório sinalizado representa um custo real.
Diminuir a velocidade ajuda e é a primeira coisa a tentar. Para além de um determinado volume, deixa de ser suficiente, porque o problema não é a velocidade — é o facto de todas as solicitações provirem de um único endereço. Distribuir as solicitações por vários endereços é o que realmente resolve o problema, e isso significa um proxy, que uma extensão do navegador não consegue utilizar por cada solicitação.
3. Agendamento
A extensão não funciona sozinha. Se precisar de preços todas as manhãs às seis, alguém tem de abrir um navegador e clicar. Qualquer tarefa recorrente requer um scraper programado ou um serviço alojado.
4. Estruturas complexas
A deteção automática pressupõe um padrão repetitivo. Tem dificuldade com dados espalhados por uma página em vez de listados, conteúdo por trás de interações como separadores e acordeões, páginas de detalhes que têm de ser visitadas uma por linha e interfaces fortemente orientadas por JavaScript que organizam o conteúdo de formas invulgares.
Também não consegue seguir um link de uma lista para uma página de detalhes e regressar — um requisito muito comum e um obstáculo intransponível.
5. Integração
O resultado é um ficheiro que uma pessoa tem de descarregar. Se um pipeline, um painel de controlo ou um modelo precisar dos dados, alguém tem de transferir esse ficheiro todas as vezes. Não existe API nem webhook.
Alternativas que vale a pena conhecer
Escolha a ferramenta adequada ao obstáculo com que se depara.
Outras extensões de navegador
Várias extensões cobrem áreas semelhantes, algumas das quais incluem deteção de campos assistida por IA ou execuções na nuvem. Vale a pena experimentá-las se a deteção for o seu problema específico — mas partilham as mesmas limitações fundamentais: o seu navegador, o seu IP, os seus cliques.
Mudar de extensão resolve os problemas de deteção. Não resolve, porém, questões de volume, agendamento, bloqueio ou integração.
Aplicações de scraping visual
As ferramentas para computador e na nuvem com construtores do tipo «apontar e clicar» situam-se num nível superior. Elas lidam com fluxos de várias etapas, visitas a páginas de detalhes e execuções agendadas na nuvem. A maioria é comercial.
Este é o passo certo quando a sua estrutura é demasiado complexa para a deteção automática, mas ainda assim não quer escrever código.
Escrever o seu próprio código
Python com requests e BeautifulSoup cobre páginas renderizadas pelo servidor. Playwright ou Selenium lida com sites com muito JavaScript. Scrapy lida com o rastreamento em grande escala, com tentativas de repetição e simultaneidade integradas.
Esta é a opção mais flexível, mas também a que dá mais trabalho. Vale a pena quando uma tarefa é recorrente, porque escreve-se uma vez e funciona para sempre.
APIs de scraping
Serviços que aceitam um URL e devolvem dados analisados, tratando da rotação e da renderização do lado do servidor. Troca-se o custo por pedido pela ausência de manutenção de infraestrutura.
É uma boa opção quando se pretende obter dados sem ter de gerir a infraestrutura subjacente.
Proxies com o seu próprio código
Mantém o controlo do scraper e encaminha os pedidos através de endereços rotativos. Dá mais trabalho do que uma API, é mais económico em grandes volumes e a lógica é da sua responsabilidade.
É aqui que a maioria das equipas acaba por optar quando uma tarefa de scraping se torna permanente.
Escalar para além da extensão
Quando uma tarefa pontual se torna recorrente, a natureza do problema muda.
Reconhecer o momento certo
Aja quando qualquer uma destas condições se verificar: a tarefa é executada mais do que uma vez, excede algumas centenas de páginas, foi-lhe imposta uma limitação de taxa, o resultado alimenta um processo automatizado ou a estrutura necessita de links para páginas de detalhes.
Como é a substituição
Uma versão básica em script do que a extensão faz:
import time
import requests
from bs4 import BeautifulSoup
proxies = {
"http": "http://USERNAME:PASSWORD@proxy.geonode.io:9000",
"https": "http://USERNAME:PASSWORD@proxy.geonode.io:9000",
}
rows = []
for page in range(1, 41):
r = requests.get(
f"https://example.com/listings?page={page}",
proxies=proxies,
timeout=30,
)
if r.status_code != 200:
print(f"page {page}: HTTP {r.status_code}")
continue
soup = BeautifulSoup(r.text, "html.parser")
for item in soup.select(".listing-item"):
rows.append({
"title": item.select_one(".title").get_text(strip=True),
"price": item.select_one(".price").get_text(strip=True),
})
time.sleep(2)
print(f"collected {len(rows)} rows")
Cerca de trinta linhas, e ganha o que a extensão não pode oferecer: executa-se sem supervisão, retoma a partir de uma página conhecida e distribui os pedidos por vários endereços, em vez de sobrecarregar um único.
Quanto custam os proxies nesta escala
A extração de texto é leve. Uma página HTML sem imagens tem normalmente entre 50 e 200 KB, pelo que dez mil páginas correspondem a cerca de 1 a 2 GB.
À tarifa inicial da [Geonode
](https://geonode.com/pricing) de 0,79 dólares por GB, isso equivale a cerca de 1 a 2 dólares para todo o trabalho — e as novas contas recebem 1 TB grátis, o que cobre um grande número de trabalhos desse tamanho antes de se ter de pagar qualquer coisa. As tarifas descem para 0,50 dólares por GB a partir dos 100 GB e para 0,27 dólares a partir de 1 TB.
A verdade nua e crua: com dez mil páginas, o custo é insignificante de qualquer forma, e a razão para mudar é a fiabilidade, não o preço. O preço começa a ter importância quando se trata de milhões de páginas — e é também aí que as tarifas por GB entre os fornecedores, que variam entre 0,79 $ e 7,00 $, se traduzem em dinheiro a sério.
Mantenha a extensão instalada
Mesmo depois de ter um fluxo de trabalho concreto, a extensão continua a ser útil exatamente para aquilo em que é boa: verificar se vale a pena desenvolver a partir de uma nova fonte, antes de escrever uma única linha de código.
Manter-se do lado certo da linha
A extensão facilita a recolha de dados, o que torna mais fácil ignorar a questão de saber se o deve fazer.
Leia os termos de serviço. Muitos sites restringem explicitamente a recolha automatizada. O facto de uma ferramenta ser gratuita e fácil de usar não altera o que concordou ao utilizar o site.
Dê preferência aos dados públicos. Listagens, preços e especificações visíveis ao público são muito mais seguros do que qualquer informação protegida por um login ou dados pessoais. Não recolha informações pessoais sobre indivíduos sem uma base legal.
Respeite a capacidade do site. Mesmo quando a recolha é permitida, taxas de acesso excessivas prejudicam o serviço para os seus utilizadores reais. Os intervalos entre pedidos são uma cortesia que, por sua vez, também evita que o seu acesso seja bloqueado.
Consulte a política de recolha de dados (robots.txt). Não se trata de um instrumento jurídico, mas indica-lhe o que o operador prefere, e ignorá-la enfraquece qualquer argumento de boa-fé posteriormente.
Os direitos de autor continuam a aplicar-se. Os factos, em geral, não estão protegidos; o conteúdo criativo, sim. Extrair preços é diferente de republicar artigos.
A jurisdição varia. As regras diferem consoante o país e podem depender do local onde opera, onde se encontra a sua infraestrutura e onde se encontram os titulares dos dados. Para trabalhos de importância comercial, procure aconselhamento específico para a sua situação.
Perguntas frequentes
O Instant Data Scraper é gratuito?
Sim. A extensão do Chrome é gratuita, com todas as funcionalidades disponíveis e sem planos pagos nem limites de utilização, o que é invulgar nesta categoria. Não é necessário criar uma conta nem existe um período de teste.
Funciona em todos os sites?
Não. Funciona bem em páginas com estruturas claras e repetitivas — tabelas, grelhas de produtos, resultados de pesquisa, listas de diretórios. Tem dificuldade com dados dispersos pela página em vez de listados, conteúdo por trás de separadores ou acordeões e sites que exigem seguir links para páginas de detalhes e regressar.
Porque é que a minha extração parou a meio?
Normalmente, devido à limitação de taxa. Cada pedido provém do seu próprio endereço IP a um ritmo constante, semelhante ao de uma máquina, e muitos sites limitam ou bloqueiam esse padrão. Aumentar o intervalo entre páginas para dois ou três segundos resolve a maioria dos casos. Para além de um determinado volume, a solução consiste em distribuir os pedidos por vários endereços, o que uma extensão do navegador não consegue fazer.
Posso programá-lo para ser executado automaticamente?
Não. A extensão necessita de um separador do navegador aberto e de uma pessoa para a iniciar. Tarefas recorrentes requerem um scraper programado ou um serviço de scraping alojado.
A utilização desta extensão fará com que o meu IP seja banido?
É possível, em sites que monitorizam ativamente as taxas de pedidos. O risco aumenta com o volume e a velocidade. Se o site for importante para o seu negócio, seja conservador com os atrasos — ter o endereço do seu escritório sinalizado representa um custo real.
Quando devo mudar para outra solução?
Quando a tarefa se repete, ultrapassa algumas centenas de páginas, já ativou a limitação de taxa, alimenta um sistema automatizado ou precisa de seguir links para páginas de detalhes. Qualquer uma destas situações é um motivo razoável para mudar.
Preciso de proxies para uma extensão de navegador?
Não — e, de qualquer forma, não é possível utilizá-los por pedido com uma extensão. Os proxies tornam-se relevantes quando se passa para um scraper programado, que é também o ponto em que o bloqueio se torna normalmente o problema determinante.
Conclusão
O Instant Data Scraper é excelente numa tarefa: transformar uma página estruturada numa folha de cálculo, gratuitamente, em menos de um minuto e sem código. Para uma extração pontual a partir de uma lista convencional, nada o supera em termos de rapidez na obtenção de resultados.
Tem cinco limitações, que são previsíveis. O volume, porque funciona à velocidade do navegador, processando uma página de cada vez. Limitação de taxa, porque cada pedido é enviado a partir do seu próprio endereço. Agendamento, porque requer a intervenção humana e uma aba aberta. Estrutura, porque a deteção automática pressupõe padrões repetitivos e não consegue seguir links para páginas de detalhes. Integração, porque o resultado é um ficheiro, não um ponto de extremidade.
O limite que atingir determinará para que solução deverá optar. Problemas de deteção apontam para uma extensão diferente ou para um scraper visual. O agendamento e a estrutura apontam para a criação do seu próprio programa. A integração aponta para uma API de scraping. O bloqueio é o caso em que os proxies são a solução, porque o problema subjacente não é a velocidade, mas o facto de cada pedido provir de um único endereço.
E quando se decide mudar, os números são menores do que a maioria das pessoas espera: dez mil páginas de texto correspondem a cerca de 1–2 GB, o que equivale a alguns dólares às tarifas básicas e fica bem dentro de uma quota gratuita. Nessa escala, a razão para mudar é a fiabilidade, não o custo.
O hábito útil é manter ambos. A extensão para reconhecimento — vale a pena desenvolver com base nesta fonte? O pipeline para tudo o que tenha de ser executado duas vezes.
