Um proxy rotativo fornece-lhe um único ponto de acesso que responde a partir de um endereço IP diferente à medida que o vai utilizando — um novo endereço por pedido ou por janela de sessão que escolher. Basta configurar esse ponto de acesso uma vez e o conjunto de endereços por trás dele encarrega-se da alteração, razão pela qual o mesmo mecanismo também é comercializado como um proxy de ligação inversa.
A consequência prática é que a escalabilidade deixa de depender do número de endereços que consegue gerir no seu próprio código.
Como funcionam os proxies rotativos
O utilizador direciona o seu cliente para um host de gateway e uma porta específicos e efetua a autenticação nesse local. O gateway seleciona um endereço de saída do seu conjunto, reencaminha o pedido e devolve a resposta. Ao enviar o pedido seguinte, este poderá partir de um endereço completamente diferente, numa cidade diferente — a sua configuração não sofreu qualquer alteração.
É o conjunto de endereços que torna isto útil, e o tamanho desse conjunto é um valor que vale a pena verificar. A página de proxies residenciais indica que há 5 milhões de IPs online a qualquer momento e 30 a 50 milhões de endereços únicos a rodar pela rede mensalmente, em mais de 195 países. A rotação recorre a esse conjunto, em vez de a uma lista que o utilizador mantenha.
A frequência com que o endereço muda é uma configuração, não uma propriedade fixa do produto. A mesma página descreve a escolha de um modo de sessão — rotativo ou fixo — ao criar o ponto de extremidade, e as suas Perguntas Frequentes indicam que as sessões fixas podem ser configuradas para um máximo de 24 horas. O modo rotativo altera o endereço à medida que as solicitações chegam; o modo fixo mantém um endereço durante o período que solicitou e, em seguida, passa para outro.
Para o site de destino, o tráfego que chega desta forma não tem um endereço único para limitar a taxa. As solicitações parecem provir de assinantes não relacionados, razão pela qual a rotação é a resposta padrão para rastreamento em grande volume, em vez de um truque para contornar qualquer site específico.
O custo disso é o estado. Qualquer elemento que tenha de se manter consistente entre pedidos — um início de sessão, um carrinho de compras, um conjunto de resultados paginados associado a um token de sessão — quebra-se no momento em que o endereço subjacente muda. Essa falha não passa despercebida: o utilizador é desligado, volta à primeira página ou o carrinho fica vazio. Quando isso acontece, a solução é uma sessão persistente, em vez de se recorrer a um fornecedor diferente.
Quando utilizar proxies rotativos — e quando não o fazer
A rotação é a opção predefinida adequada quando:
- A tarefa envolve muitas leituras e abrange uma grande quantidade de dados. Milhares de páginas de produtos, listagens ou resultados de pesquisa, em que cada pedido é independente do anterior.
- Está a monitorizar preços, stock ou classificações em várias regiões e pretende que cada verificação pareça ter sido feita por um visitante independente.
- Um único endereço esgotaria a sua cota de acesso. Qualquer destino com limites de taxa por IP transforma um endereço estático num estrangulamento muito antes de a largura de banda o fazer.
- Caso contrário, teria de gerir uma lista de IP manualmente. O gateway elimina totalmente esse trabalho.
A rotação é a ferramenta errada quando:
- O fluxo é sensível ao estado. Inícios de sessão, carrinhos, finalizações de compra e formulários com várias etapas necessitam do mesmo endereço do início ao fim — utilize, em vez disso, sessões persistentes.
- Gerir contas. Uma conta cujo IP muda a meio da sessão dá origem precisamente ao pedido de verificação que estava a tentar evitar.
- O destino identifica a localização com grande precisão e a sua rotação atravessa países entre pedidos, fazendo com que o visitante pareça ter-se teletransportado.
- Precisa de um endereço fixo para uma lista de permissões. Uma API de um parceiro que coloca o seu IP na lista de permissões não pode funcionar com um conjunto de endereços.
Como obter proxies rotativos
A rotação é o comportamento predefinido dos proxies residenciais, cujos preços começam nos 0,27 $ por GB, sem mínimo mensal, de acordo com essa página. Escolhe-se um país e um modo de sessão ao criar o endpoint e, em seguida, cola-se este no seu scraper — a rotação em si não requer qualquer código da sua parte.
Quando o alvo não verifica se um endereço pertence a uma ligação doméstica, os proxies rotativos de centro de dados fazem o mesmo trabalho numa infraestrutura mais económica, a partir de 0,144 dólares por GB, conforme indicado nessa página. São mais rápidos e mais baratos por gigabyte; são também mais fáceis de detetar por um site bem protegido, pelo que se adequam à recolha em massa em alvos tolerantes, em vez de qualquer coisa orientada para contas específicas.
Perguntas Frequentes
Com que frequência um proxy rotativo muda o seu IP?
Isso depende do modo de sessão que configurar, e não do produto. O modo rotativo atribui um novo endereço à medida que as solicitações chegam; o modo fixo mantém um único endereço durante um período definido por si, até 24 horas, de acordo com as Perguntas Frequentes sobre proxies residenciais.
Os proxies rotativos são o mesmo que os proxies de backconnect?
Ambos descrevem a mesma configuração a partir de duas perspetivas diferentes. «Backconnect» refere-se à arquitetura — um gateway, com um conjunto de servidores por trás —, enquanto «rotativo» se refere ao comportamento que se observa.
A rotação irá impedir o meu início de sessão?
Sim, se efetuar a rotação por pedido enquanto estiver com sessão ativa. Mude esse ponto de extremidade para uma sessão «sticky», para que todo o fluxo autenticado parta de um único endereço.
Preciso de escrever eu mesmo a lógica de rotação?
Não. O gateway realiza a rotação; o seu cliente mantém um único par de host, porta e credenciais durante toda a duração da tarefa.
