Apify é uma plataforma que fornece aos seus utilizadores uma web crawling bot que é concebida para rastejar e extrair dados de qualquer website. Também pode ser utilizado para automatizar tarefas em linha, tais como preencher formulários ou carregar/transferir ficheiros. Pode utilizar o Apify gratuitamente, mas existem planos personalizados que dão mais funcionalidades.
A maioria dos sítios Web tem restrições extremamente rigorosas contra a utilização de bots no seu sítio. Qualquer conta apanhada utilizando um será imediatamente banida e o seu endereço IP será colocado na lista negra. Para contornar esta restrição e ter plena utilização do Apify, é necessário emparelhá-lo com um proxy Apify.
Um proxy Apify actuará como intermediário entre o seu dispositivo e a Internet, pelo que qualquer website que visitar só poderá ver o endereço IP do servidor proxy e o seu próprio IP será escondido. Através de proxies continuamente rotativos, o seu bot terá um endereço IP diferente, a um dado intervalo, cada vez que enviar pedidos. Isto engana os websites a pensar que os pedidos do seu bot são de utilizadores genuínos, pelo que não será banido.
Vamos criar um servidor proxy Apify.
