O ScraperAPI é uma ferramenta de web scraping que gere os proxies, os navegadores e os CAPTCHAs, para que o utilizador não tenha de o fazer. É simples de utilizar e os utilizadores podem facilmente extrair qualquer conteúdo HTML de qualquer site à sua escolha. O ScraperAPI é um serviço premium, mas os utilizadores podem experimentá-lo gratuitamente para ver se gostam.
Como o ScraperAPI é uma ferramenta de automatização, os sites banirão qualquer conta e colocarão na lista negra os endereços IP dos utilizadores que forem detetados a utilizar o web scraper. Para evitar que isto aconteça, o ScraperAPI utiliza proxies para ocultar o seu endereço IP de qualquer site que pretenda extrair.
Isto é possível porque um proxy do ScraperAPI irá tratar de todos os seus pedidos web por si, de modo que qualquer site que visitar só poderá ver o endereço IP do servidor proxy e não o seu. Através da rotação contínua de proxies, a ScraperAPI terá um endereço IP diferente cada vez que enviar uma solicitação, o que leva os sites a pensar que essas solicitações provêm de vários utilizadores e não apenas de um único local.
Se estiver a comparar opções: o Scraper API da Geonode faz o mesmo trabalho — renderização JS, rotação de proxies e novas tentativas numa única chamada — com 1 500 pedidos gratuitos por mês e planos fixos ilimitados em vez de créditos. Os passos de configuração abaixo aplicam-se a qualquer API de scraping que aceite uma string de proxy.
Vamos configurar um servidor proxy ScrapingDog.
Como utilizar proxies com o ScraperAPI
O nome de utilizador para o proxy é «scraperapi» e a palavra-passe é a sua chave API.
Se pretender utilizar proxies privados diferentes, então:
Para o Windows:
Para configurar proxies no Windows, basta procurar por «Definições de proxy» na barra de pesquisa do Windows e abrir o resultado da pesquisa.
Ser-lhe-ão então apresentadas duas opções à escolha: Configuração automática do proxy ou Configuração manual do proxy. Se pretender que o Windows detete automaticamente as suas definições de proxy, escolha a primeira opção. Escolha a segunda opção se pretender utilizar um endereço IP e um número de porta específicos.
Se tiver escolhido a primeira opção, então:
- Ative Detetar configurações automaticamente
- Ative Utilizar script de configuração
- Introduza o endereço do script
- Clique em Guardar
Se tiver escolhido a segunda opção, então:
- Ative Usar um servidor proxy
- Introduza tanto o endereço do servidor como o número da porta
- Se tiver algum endereço que pretenda visitar sem proxy, introduza-o aqui
- Marque a caixa de seleção «Não utilizar o servidor proxy para endereços locais» se pretender aceder a um servidor local sem proxy
- Clique em Guardar
Texto alternativo da imagem: Configuração automática do proxy do Windows
Para Mac:
Para começar a configurar as suas definições de proxy no macOS, basta:
Passo 1. Clique no ícone da Apple.
Passo 2. No menu suspenso, clique em «Preferências do Sistema».
Passo 3. Clique em «Rede»
Passo 4. Clique em «Avançado»
Nota: Certifique-se de que se liga primeiro à sua rede Wi-Fi.
Passo 5. Clique em «Proxies»
Isto deverá redirecioná-lo para as definições de proxy do macOS. O macOS é mais simples em comparação com o Windows. Tem apenas uma opção, que é configurar manualmente o seu servidor proxy.
Eis os passos a seguir:
- Selecione o protocolo IP do proxy que pretende configurar. Isto depende dos protocolos que o seu fornecedor de serviços de proxy oferece.
- Ative o Proxy Web Seguro
- Introduza o Endereço do Servidor Proxy e o Número da Porta
- Clique em OK para guardar as configurações
Nota: Poderá ser-lhe solicitada a palavra-passe de utilizador do Mac para guardar as suas definições.
Texto alternativo da imagem: Configurar as definições de proxy do macOS
Parabéns! Concluiu a configuração de um servidor proxy da ScraperAPI.
