A nossa posição, expressa abertamente: somos a Geonode e vendemos proxies, pelo que «limpo» é uma palavra que poderíamos facilmente utilizar de forma imprecisa. Não o faremos, porque nenhum fornecedor pode garantir isso e qualquer fornecedor que afirme o contrário está a dizer-lhe algo que não pode saber. O facto de um endereço funcionar no seu alvo depende dos próprios sistemas desse alvo, que o fornecedor não consegue ver, não pode consultar e não controla. O que um fornecedor pode oferecer honestamente é um conjunto de endereços devidamente selecionado, monitorizado quanto aos sinais observáveis e que pode ser testado por si antes de se comprometer. Os testes encontram-se abaixo, demoram cerca de uma hora e deve executá-los connosco com a mesma facilidade com que o faria com qualquer outro fornecedor.
«Limpo» não é uma única característica
Quando as pessoas dizem «limpo», normalmente referem-se a uma de cinco coisas diferentes:
Não consta de listas de bloqueio públicas. Não está presente em DNSBLs nem em bases de dados de abuso. Não foi alvo de abuso anteriormente. Não tem histórico de spam, fraude ou tráfego de ataque. Não é identificável como proxy. Não consta de nenhuma lista comercial de deteção de proxies ou VPNs. Não é partilhado. Não está atualmente a ser utilizado por muitas outras pessoas. Funciona no meu destino. Aquilo que realmente importa.
Estas características são, em grande parte, independentes. Um endereço pode não constar de nenhuma lista de bloqueio pública e, mesmo assim, ser bloqueado instantaneamente pelo site que lhe interessa. Outro pode aparecer em várias listas e funcionar na perfeição para o seu caso de utilização. Tratá-los como uma única característica é o que leva as pessoas a acabarem por comprar com base no critério errado.
O quinto é o único com consequências comerciais, e é aquele que nenhuma lista lhe pode revelar.
Listas de bloqueio: estar numa delas é normal
Este é o facto que redefine todo o tema e que surpreende quase toda a gente.
A Spamhaus publica várias listas de bloqueio utilizadas em diferentes fases da filtragem de e-mail. As listas SBL, XBL e PBL são consultadas no momento da ligação; a DBL opera na fase de filtragem de conteúdo; a ZEN é descrita como «uma combinação das listas PBL, SBL e XBL».
A Policy Blocklist é a mais interessante. Trata-se de «um conjunto de dados que contém intervalos de endereços IP de utilizadores finais a partir dos quais nunca se deve enviar e-mail diretamente para o destino final», e «deteta intervalos de endereços IP de utilizadores finais que não devem tentar entregar diretamente e-mail SMTP não autenticado a qualquer servidor de e-mail da Internet». Enumera intervalos de banda larga residenciais e de consumidores, endereços dinâmicos, endereços estáticos considerados inadequados para a entrega direta de e-mail e intervalos com elevadas concentrações de dispositivos comprometidos.
E a sua escala é o que mais chama a atenção: a PBL abrange «mais de 1,4 mil milhões de endereços IPv4, correspondentes a quase 40% do espaço IPv4 roteável».
Leia isso novamente tendo em mente os proxies. Essencialmente, todos os endereços IP residenciais do mundo constam numa lista de bloqueio da Spamhaus, por definição, porque as ligações residenciais não devem enviar e-mails diretamente. Isso não é um ponto negativo contra eles; é uma classificação correta para o fim a que a lista se destina.
Portanto, «não constar em nenhuma lista de bloqueio» é um critério sem sentido para os proxies residenciais. Se verificar um endereço residencial na ZEN e encontrar uma menção na PBL, terá apenas confirmado que se trata de um endereço residencial. Algo que já sabia e pelo qual pagou um valor adicional.
As listagens que realmente o devem preocupar são a SBL, que se refere a fontes de spam, e a XBL, que se refere a máquinas exploradas. Essas contêm informação. Uma listagem na PBL não contém.
A lição mais ampla: as listas de bloqueio são criadas para fins específicos, e uma menção só tem significado no contexto desse fim. Uma lista focada em e-mail dá-lhe informações sobre e-mail. Não lhe diz praticamente nada sobre se um scraper da Web receberá um erro 403.
O que realmente faz com que um endereço funcione ou falhe
Eis o que o site de destino tem realmente em consideração, aproximadamente por ordem de importância.
Tipo de endereço. O facto de o endereço pertencer a um fornecedor de alojamento ou a um ISP de consumidores é informação de domínio público. Este é o sinal mais forte, e é por isso que os endereços de centros de dados são bloqueados em massa por sites que se preocupam com isso, ao passo que os endereços residenciais não o são.
Reputação do sistema autónomo. Os sites bloqueiam frequentemente ao nível do operador, em vez de o fazerem ao nível do endereço. Um endereço herda a reputação da sua rede, e um fornecedor de alojamento na íntegra pode ser excluído com uma única regra.
Reputação d/24. O bloqueio ocorre com a mesma frequência ao nível d como ao nível do endereço, pelo que os vizinhos são importantes. Cinquenta endereços num bloco comportam-se como um único endereço quando esse bloco é bloqueado.
Comportamento recente desse endereço. Frequência, padrões, o que foi solicitado. Este é o fator que evolui mais rapidamente e está, em grande parte, sob o seu controlo.
Tudo o que não tem nada a ver com o endereço. Impressão digital TLS, composição e ordem dos cabeçalhos, sinais comportamentais do navegador, histórico de sessões e estado da conta. Em qualquer site com proteção moderna contra bots, estes fatores têm mais peso do que o endereço — e é por isso que dizemos às pessoas que mudar de endereço não é uma solução geral.
A implicação prática é incómoda para um fornecedor de proxy e, de qualquer forma, é verdadeira: um endereço que seja «limpo» segundo todos os critérios observáveis continuará a ser bloqueado se o seu cliente parecer automatizado com base nos outros sinais.
Como os endereços ficam «sujos»
Compreender os mecanismos permite-lhe saber quais os problemas que lhe cabe resolver.
Utilização partilhada. Em qualquer conjunto partilhado, outros clientes utilizam os mesmos endereços. Um utilizador que sobrecarregue um site pode fazer com que um endereço seja marcado para todos os que nele se encontram. Esta é a causa mais comum de «o proxy deixou de funcionar» e não tem nada a ver com o que fez.
Histórico anterior. Os endereços residenciais são reatribuídos pelos ISP. O comportamento do titular anterior fica associado ao endereço até que a reputação se deteriore.
A sua própria frequência. Enviar pedidos demasiado depressa é a causa mais evitável e aquela que as pessoas atribuem com mais frequência ao fornecedor.
Padrão. Intervalos perfeitamente regulares, cabeçalhos idênticos em todos os pedidos, acesso sequencial a URLs. Estes são interpretados como automatizados, independentemente da qualidade do endereço.
Compromisso. No caso de conjuntos de endereços residenciais criados a partir de dispositivos de consumidores, alguns desses dispositivos também estão infetados com outro tipo de malware. O XBL existe precisamente para este fim.
Associação. Estar numa sub-rede com vizinhos mal-intencionados, ou numa rede que hospeda muitos abusos, afeta-te sem que tenhas feito nada.
Apenas dois desses seis fatores dependem de si: a taxa e o padrão. São também os dois que têm maior impacto na sua taxa de sucesso no dia-a-dia, o que vale a pena saber antes de procurar endereços mais «limpos».
Centros de dados, residências, ISP e dispositivos móveis: perfis de limpeza distintos
Os quatro tipos de endereços não são pontos numa única escala. São perfis distintos, cada um com características de limpeza e sujidade próprias.
Centro de dados. Facilmente identificável como não destinado a consumidores a partir de dados de registos públicos e frequentemente bloqueado como categoria por sites que se preocupam com isso. Mas, dentro dessa restrição, podem comportar-se genuinamente bem: as atribuições são estáveis, obtém-se frequentemente endereços dedicados cuja reputação é exclusivamente sua e não há nenhum ocupante residencial anterior. Para um alvo que não discrimina com base no tipo de endereço — a maioria das APIs, a maioria das fontes de dados públicas, a maioria dos sites de documentação —, um endereço de centro de dados é tão «limpo» quanto qualquer outro e custa uma fração do preço.
Residencial. Mistura-se com o tráfego normal de consumidores, o que é precisamente o objetivo, e acarreta três desvantagens específicas. Por definição, está incluído em listas de bloqueio de e-mail. Foi utilizado por alguém antes de si e será utilizado por alguém depois. E, num conjunto partilhado, está a ser utilizado por outros clientes neste preciso momento. Está a comprar camuflagem, não exclusividade.
ISP ou residencial estático. Registado num ISP de consumo, mas alojado num centro de dados. Parece de consumo numa pesquisa WHOIS, embora se comporte como infraestrutura: estável, dedicado e com um histórico de reputação que constrói por si próprio, em vez de herdar. Este é o perfil mais limpo disponível para qualquer coisa de longa duração e a razão pela qual o preço é por endereço, em vez de por gigabyte.
Móvel. O NAT de nível de operadora significa que um endereço é partilhado simultaneamente por um grande número de assinantes reais. Isso torna o bloqueio dispendioso para um site — estariam a bloquear clientes genuínos —, o que constitui uma vantagem real. Significa também que o endereço tem um histórico extenso proveniente de todos esses assinantes, e não tem qualquer influência sobre o mesmo.
A escolha que se segue tem menos a ver com qual o tipo mais «limpo» e mais com que nível de responsabilidade pode tolerar. Se a exclusividade for importante, opte pelo ISP. Se a mistura for importante, opte pelo residencial ou pelo móvel. Se o custo for importante e o alvo não fizer distinções, opte pelo centro de dados — e a forma mais comum de gastar a mais neste mercado é pagar tarifas residenciais por páginas que um endereço de centro de dados acede sem qualquer problema.
Teste essa suposição em vez de a aceitar como um dado adquirido. Execute primeiro uma amostra da sua carga de trabalho real através da opção mais barata e só avance para a opção superior quando houver falhas comprovadas. Esse único hábito poupa mais dinheiro do que qualquer negociação sobre tarifas por gigabyte.
Como testar a qualidade do seu público-alvo
Os testes que importam, por ordem de utilidade. Realize-os durante um período de teste.
1. Taxa de sucesso no seu público-alvo real. Nada mais é capaz de prever nada. Recolha uma amostra de algumas centenas de pedidos, distribuídos ao longo de vários dias em vez de vários minutos, e avalie a conclusão — não apenas o estado 200, mas se o conteúdo corresponde ao esperado. Segmente por destino e por região, pois um valor agregado pode ocultar completamente um destino que falhou.
2. Integridade do conteúdo, não apenas o estado. Os bloqueios suaves devolvem o código 200 com conteúdo removido ou alterado. Verifique se existe um marcador conhecido como estável na página e confirme a contagem esperada de itens. Este é o modo de falha que permanece oculto por mais tempo, tal como abordámos em por que é importante testar proxies.
3. Distribuição da sub-rede. Conte os bloqueios distintos /24
numa amostra de endereços de saída:
for i in $(seq 1 200); do curl -s -x "$PROXY" https://api.ipify.org; echo; done \
| sort -u > ips.txt
wc -l < ips.txt
cut -d. -f1-3 ips.txt | sort -u | wc -l
Uma proporção elevada de bloqueios em relação aos endereços significa que o conjunto de endereços se degrada gradualmente, em vez de em blocos.
4. Classificação WHOIS. Confirme se os endereços correspondem ao que pagou — ISPs de consumo para um conjunto residencial, e não empresas de alojamento.
5. Verificações de listas de bloqueio, interpretadas corretamente. Vale a pena fazer, vale a pena ler corretamente. É de esperar que um endereço residencial conste de uma lista PBL. Vale a pena investigar se um endereço consta de uma lista SBL ou XBL.
6. Serviços de deteção de proxies. Vários serviços comerciais classificam endereços como proxy, VPN ou alojamento. Se o seu alvo utilizar um desses serviços, isso é um indicador direto. Caso contrário, isso pouco lhe diz.
Faça tudo isto por país. Os resultados agregados ocultam a concentração local, e a localização de que precisa é aquela que realmente importa.
O que os fornecedores podem e não podem garantir
Ser explícito, uma vez que é aqui que reside o marketing.
O que um fornecedor pode afirmar honestamente: como é obtido o conjunto de endereços e se os participantes deram o seu consentimento; que tipo de monitorização existe; como os endereços são substituídos quando se deterioram; como é a distribuição das sub-redes; e que pode testar antes de se comprometer.
O que nenhum fornecedor pode garantir honestamente:
Que um endereço funcione num site específico. Não têm acesso aos sistemas desse site. Qualquer promessa neste sentido é um palpite disfarçado de compromisso.
Que um endereço não seja utilizado por terceiros. Num conjunto partilhado, é, por definição, utilizado por terceiros. Apenas os endereços dedicados evitam isto, e são um produto diferente a um preço diferente.
Que um endereço se mantenha «limpo». A reputação é perecível. Um endereço que está bem esta manhã pode ser sinalizado esta tarde, sem que tenha sido necessária qualquer ação da sua parte.
Indetetabilidade. Ninguém pode prometer isto. Os endereços residenciais levantam menos suspeitas do que os de centros de dados; essa é a afirmação honesta e não é a mesma coisa.
O que «limpo» significa razoavelmente por parte de um fornecedor: obtidos com consentimento, monitorizados quanto a sinais observáveis, distribuídos por várias sub-redes e retirados de circulação quando deixam de funcionar. Essa é uma oferta real. É também consideravelmente menos apelativo do que «proxies privados 100% limpos», razão pela qual a versão honesta é mais rara na publicidade.
Se um preço estiver muito abaixo do valor de mercado — a largura de banda residencial custa aproximadamente entre 0,79 e 7,00 dólares por gigabyte —, o custo subjacente tem de ter vindo de algum lado, e a origem é normalmente a resposta. A ação coerciva que a equipa de inteligência de ameaças da Google anunciou em janeiro de 2026 contra um grupo de revendedores interligados tornou as consequências disso bem concretas para os seus clientes.
Manter os endereços em bom estado depois de os obter
A parte que está genuinamente sob o seu controlo e a parte que as pessoas negligenciam.
Limite-se a um nível inferior ao limite máximo. Descubra a partir de onde um alvo começa a impor-lhe restrições e mantenha-se confortavelmente abaixo desse limite. A maior parte dos danos à reputação é autoinfligida devido ao volume.
Varie os seus intervalos. Pedidos a intervalos exatamente regulares são uma assinatura que nenhum ser humano produz. Um pouco de aleatoriedade não custa nada.
Utilize sessões quando fizer sentido. Uma sequência de várias etapas proveniente de quatro países não é um padrão que um utilizador real criaria. Utilize um único endereço para toda a sequência.
Respeite o que o site lhe indica. «Retry-After» num erro 429 é uma instrução específica. Segui-la é a atitude correta e o caminho mais rápido para voltar a funcionar. Ignorá-la transforma um limite temporário num limite mais prolongado.
Alterne em caso de falha, não por horário. Esgotar endereços só porque um temporizador disparou desperdiça a capacidade do conjunto. Alterne quando um endereço específico deixar de funcionar.
Não volte a tentar num bloco. Pedidos repetidos após um 403 confirmam ao destino que se trata de um processo automatizado. Afaste-se.
Identifique-se sempre que for legítimo fazê-lo. Um agente de utilizador honesto com um URL de contacto é bloqueado com muito menos facilidade do que uma automação anónima, e não custa nada.
Corrija os sinais não relacionados com o endereço. Se a sua impressão digital TLS indicar Python enquanto o seu agente de utilizador indicar Chrome, nenhum endereço é suficientemente limpo para compensar.
Perguntas frequentes
O que é um proxy «limpo»?
Não existe uma definição padrão. Na prática, significa um endereço que funciona no site que lhe interessa — o que depende dos sistemas desse site, e não de qualquer característica que se possa medir antecipadamente. A definição útil mais próxima é: obtido de forma adequada, distribuído por várias sub-redes, monitorizado e com funcionamento comprovado no seu alvo durante um período de teste.
Como posso verificar se um proxy é «limpo»?
Teste-o no seu alvo real e avalie a taxa de sucesso ao longo de dias, em vez de minutos, verificando a integridade do conteúdo em vez de apenas os códigos de estado. Em seguida, verifique a distribuição pelas sub-redes, confirme se a classificação WHOIS corresponde ao que adquiriu e verifique as listas de bloqueio — interpretando os resultados corretamente.
Os proxies residenciais estão sempre nas listas de bloqueio?
Efetivamente sim, e isso é de esperar. A Policy Blocklist da Spamhaus abrange intervalos residenciais e dinâmicos a partir dos quais não se deve enviar e-mail diretamente, e abrange mais de 1,4 mil milhões de endereços IPv4 — quase 40% do espaço IPv4 roteável. Uma listagem na PBL relativa a um endereço residencial indica que se trata de um endereço residencial, não que seja malicioso.
Por que razão o meu proxy «limpo» deixou de funcionar?
Na maioria das vezes, devido à utilização partilhada — outra pessoa no mesmo endereço desencadeou um bloqueio. Por vezes, devido à sua própria taxa de pedidos. Outras vezes, o endereço foi reatribuído ou a reputação da sub-rede alterou-se. A reputação é efémera e, em grande parte, está fora do seu controlo, razão pela qual a taxa de sucesso tem de ser monitorizada em vez de assumida.
Um fornecedor pode garantir proxies «limpos»?
Não, e um fornecedor que afirme isso está a alegar ter conhecimento dos sistemas do seu alvo que, na verdade, não possui. O que podem oferecer honestamente é uma seleção adequada de fontes, monitorização, diversidade de sub-redes, rotação de endereços degradados e um período de teste suficientemente longo para que possa verificar.
Qual é a diferença entre proxies «limpos» e «privados»?
«Privado» significa que não é partilhado com outros clientes, o que elimina uma causa comum de danos à reputação. «Limpo» refere-se à forma como o endereço é atualmente considerado pelo seu alvo. Um endereço privado pode estar bloqueado e um partilhado pode funcionar na perfeição; medem aspetos diferentes.
As listas de bloqueio são importantes para o web scraping?
Muito menos do que para o e-mail. Listas como a da Spamhaus são criadas para a filtragem de e-mails, e a maioria dos alvos na Web não as consulta. O que importa para o acesso à Web é o tipo de endereço, a reputação do sistema autónomo, a reputação da sub-rede e — geralmente mais do que qualquer um destes fatores — a impressão digital TLS, os cabeçalhos e o comportamento.
Como posso manter os meus proxies «limpos»?
Mantenha-se abaixo do limite de taxa, varie os seus intervalos de tempo, utilize sessões persistentes para fluxos com várias etapas, respeite o «Retry-After», afaste-se após um bloqueio em vez de tentar novamente, e corrija os sinais não relacionados com o endereço, tais como a impressão digital TLS e a consistência dos cabeçalhos. A taxa e o padrão são os dois fatores que estão genuinamente sob o seu controlo.
Conclusão
«Proxy limpo» é uma expressão que soa como uma especificação e funciona como um adjetivo. O mais útil é substituí-la por uma pergunta: este endereço funciona no meu destino, neste momento, com o meu volume de tráfego?
Essa pergunta tem uma resposta empírica e nenhuma lista a pode fornecer. As listas de bloqueio públicas são criadas para e-mail, e a maior delas classifica quase 40% do espaço IPv4 roteável como residencial — por isso, verificar um proxy residencial em relação a essa lista diz-lhe aquilo pelo qual já pagou, em vez de algo que precisasse de saber.
O que prevê o sucesso é o conjunto «aborrecido»: a taxa de sucesso no seu alvo real medida ao longo de vários dias, a integridade do conteúdo em vez de códigos de estado, a dispersão da sub-rede em vez do tamanho do conjunto de endereços e os números por país em vez dos valores agregados. Teste estes parâmetros durante um período experimental e ficará a saber mais do que qualquer campanha de marketing de um fornecedor lhe possa dizer — incluindo a nossa.
E depois, a parte que controlas. A taxa e o padrão prejudicam mais a reputação do que a origem das reparações, e uma impressão digital TLS que contradiga o teu agente de utilizador fará com que sejas bloqueado até mesmo a partir do endereço mais «limpo» do mundo.