O Apify é uma plataforma que disponibiliza aos seus utilizadores um bot de rastreamento da Web concebido para rastrear e extrair dados de qualquer site. Também pode ser utilizado para automatizar tarefas online, tais como preencher formulários ou carregar/descarregar ficheiros. É possível utilizar o Apify gratuitamente, mas existem planos personalizados que oferecem mais funcionalidades.
A maioria dos sites tem restrições extremamente rigorosas contra a utilização de bots nas suas páginas. Qualquer conta que seja apanhada a utilizar um bot será imediatamente banida e o seu endereço IP será colocado na lista negra. Para contornar esta restrição e tirar o máximo partido do Apify, é necessário combiná-lo com um proxy do Apify.
Um proxy do Apify atuará como intermediário entre o seu dispositivo e a Internet, de modo que qualquer site que visitar só poderá ver o endereço IP do servidor proxy, ficando o seu próprio IP oculto. Através da rotação contínua de proxies, o seu bot terá um endereço IP diferente, a intervalos regulares, sempre que enviar pedidos. Isto induz os sites a pensar que os pedidos do seu bot provêm de utilizadores genuínos, pelo que não será banido.
Vamos configurar um servidor proxy Apify.
