A AWS, também conhecida como Amazon Web Services, é uma plataforma que oferece soluções de computação em nuvem a particulares e a diversas organizações. Os utilizadores podem recorrer à AWS para criar plataformas com uma solução fiável de alojamento na nuvem, o que também se aplica às aplicações web. A AWS é a plataforma líder de computação em nuvem e a melhor do seu género, com mais de milhões de utilizadores e milhares de parceiros.
Há muitas tarefas que pode realizar com a AWS, incluindo web scraping. No entanto, se depender exclusivamente da AWS para fazer web scraping, a maioria dos sites bloqueará imediatamente o seu endereço IP, uma vez que o web scraping envia uma grande quantidade de pedidos que podem afetar o servidor do site.
Para evitar que o seu endereço IP seja bloqueado, precisa da ajuda de um proxy da AWS. Um proxy da AWS irá tratar de todas as suas solicitações web por si. O seu endereço IP ficará oculto e qualquer site que visitar só poderá ver o endereço IP do servidor proxy. Pode alternar facilmente o endereço IP do servidor proxy e fazer com que cada endereço IP envie apenas uma quantidade limitada de pedidos, para impedir que os sites detetem que está a utilizar a AWS para fazer web scraping e evitar completamente que o seu endereço IP seja bloqueado.
Dependendo do que pretende, os melhores proxies da AWS a utilizar serão os proxies residenciais ou os proxies de centro de dados. Se quiser a garantia total de que as suas tarefas de web scraping não serão detetadas e que o seu endereço IP não será bloqueado, ao mesmo tempo que lhe proporciona anonimato total, então os proxies residenciais são a escolha certa para si. Se valoriza a velocidade e pretende uma forma mais rápida de extrair dados de sites, então os proxies de centro de dados são a melhor opção para si.
Vamos configurar um servidor proxy da AWS.
Nota: Certifique-se de que o navegador da Web que está a utilizar para a AWS está configurado para copiar automaticamente as definições de proxy do seu computador. O Google Chrome faz isso automaticamente, pelo que se recomenda a sua utilização.
Para o Windows:
Para configurar proxies no Windows, basta pesquisar por «Definições de proxy» na barra de pesquisa do Windows e abrir o resultado da pesquisa.
Ser-lhe-ão então apresentadas duas opções à escolha: Configuração automática do proxy ou Configuração manual do proxy. Se pretender que o Windows detete automaticamente as suas definições de proxy, escolha a primeira opção. Escolha a segunda opção se pretender utilizar um endereço IP e um número de porta específicos.
Se tiver escolhido a primeira opção, então:
- Ative Detetar configurações automaticamente
- Ative Utilizar script de configuração
- Introduza o endereço do script
- Clique em Guardar
Se tiver escolhido a segunda opção, então:
- Ative Usar um servidor proxy
- Introduza tanto o endereço do servidor como o número da porta
- Se tiver algum endereço que pretenda visitar sem proxy, introduza-o aqui
- Ative a caixa de seleção «Não utilizar o servidor proxy para endereços locais» se pretender aceder a um servidor local sem proxy
- Clique em Guardar
Para Mac.
Para começar a configurar as suas definições de proxy no macOS, basta:
Passo 1. Clique no ícone da Apple.
Passo 2. No menu suspenso, clique em «Preferências do Sistema».
Passo 3. Clique em «Rede»
Passo 4. Clique em «Avançado»
Nota: Certifique-se de que se liga primeiro à sua rede Wi-Fi.
Passo 5. Clique em «Proxies»
Isto deverá redirecioná-lo para as definições de proxy do macOS. O macOS é mais simples em comparação com o Windows. Tem apenas uma opção: configurar manualmente o seu servidor proxy.
Eis os passos a seguir:
- Selecione o protocolo IP do proxy que pretende configurar. Isto depende dos protocolos que o seu fornecedor de serviços de proxy oferece.
- Ative o Proxy Web Seguro
- Introduza o Endereço do Servidor Proxy e o Número da Porta
- Clique em OK para guardar as configurações
Nota: Poderá ser-lhe solicitada a palavra-passe de utilizador do Mac para guardar as suas definições.
Para dispositivos móveis:
Para configurar um servidor proxy da AWS no seu dispositivo móvel, basta alterar as definições de proxy do seu telemóvel. A AWS copiará automaticamente as definições de proxy do seu telemóvel sempre que o utilizar. Isto aplica-se tanto ao Android como ao iOS. Aqui está um guia detalhado para Android e outro para iPhone.
Parabéns! Já concluiu a configuração de um servidor proxy da AWS. Tenha em atenção que, na primeira vez que o visitar, aparecerá uma janela pop-up a solicitar as suas credenciais de início de sessão.
