AWS, também conhecida como Amazon's Web Services, é uma plataforma que oferece soluções de cloud computing a indivíduos e várias organizações. Os utilizadores podem utilizar AWS para construir plataformas com uma solução fiável de alojamento em nuvem e isto também é verdade para aplicações web. AWS é a principal plataforma de computação em nuvem e a melhor do seu género com mais de milhões de utilizadores e milhares de parceiros.
Há muitas tarefas que pode fazer com AWS, incluindo raspagem da web. No entanto, se confiar apenas na utilização do AWS para raspar a web, então a maioria dos sítios web bloqueará imediatamente o seu endereço IP porque a raspagem da web enviará uma grande quantidade de pedidos que podem ter impacto no servidor do sítio web.
Para evitar que o seu endereço IP seja banido, necessita da ajuda de um proxy AWS. Um proxy AWS tratará de todos os seus pedidos da web por si. O seu próprio endereço IP será escondido e qualquer website que visitar só poderá ver o endereço IP do servidor proxy. Pode facilmente rodar o endereço IP do servidor proxy e fazer com que cada endereço IP envie apenas uma quantidade limitada de pedidos para evitar que websites detectem que está a usar AWS para o raspar e evitar totalmente que o seu endereço IP seja banido.
Dependendo do que pretende, os melhores procuradores AWS a utilizar seriam procuradores residenciais ou procuradores de centros de dados. Se quiser ter a garantia total de que as suas tarefas de raspagem da web não serão detectadas e o seu endereço IP não será banido, ao mesmo tempo que lhe dá total anonimato, então os proxys residenciais são o ideal para si. Se valoriza a velocidade e quer uma forma mais rápida de raspar websites, então os proxys de datacenter são o que é melhor para si.
Vamos criar um servidor proxy AWS.
Note: Certifique-se de que o navegador web que está a utilizar para AWS está configurado para copiar automaticamente as definições de proxy do seu computador. O Google Chrome faz isto automaticamente, pelo que se recomenda a sua utilização.
Para Windows:
Para configurar proxies no Windows, basta procurar por "Definições de Proxy" na barra de pesquisa do seu Windows e abrir o resultado da pesquisa.
São-lhe então dadas duas opções de escolha: Configuração automática de proxy ou Configuração manual de proxy. Se quiser que o Windows detecte automaticamente as suas definições de proxy, escolha a primeira opção. Escolha a segunda opção se quiser utilizar um endereço ip e número de porta específicos.
Se escolheu a primeira opção, então:
- Ligue Detectar automaticamente as definições*.
- Ligar Utilizar o guião de configuração*.
- Introduza o endereço escrito*.
- Clique Salvar*.
Se escolheu a segunda opção, então:
- Ligue Utilizar um servidor proxy*.
- Introduza tanto o endereço do servidor como o número da porta*.
- Se tiver algum endereço que gostaria de visitar sem procuração, introduza-o aqui
- Ligue Não utilize o servidor proxy para endereços locais se quiser aceder a um servidor local sem um proxy*.
- Clique Salvar*.
Para Mac.
Para começar a configurar as suas definições proxy em MacOS, basta:
Passo 1. Clique no Ícone Apple.
Passo 2. No menu suspenso, clicar em "Preferências do Sistema".
Passo 3. Clicar em "Rede ".
Passo 4. Clique em "Avançado "
MacNetworkAdvancedSettings.png](https://res.cloudinary.com/delbwqa4s/image/upload/v1651651431/mac_Network_Advanced_Settings_ef23bd9f2b.png)
Note: Certifique-se de se ligar primeiro à sua wi-fi.
Passo 5. Clique em "Proxies "
Isto deverá então redireccioná-lo para definições de proxy MacOS. O MacOS é mais simples em comparação com o Windows. Tem apenas uma opção que é a de configurar manualmente o seu servidor proxy.
Aqui estão os passos a seguir:
- Seleccione qual proxy IP protocolo* pretende configurar. Isto depende de quais protocolos o seu fornecedor de serviços proxy oferece.
- Ligar Proxy Web Seguro*
- Introduza o Endereço do Servidor Proxy e o Número de Porta*.
- Clique OK* para guardar as configurações
Note: Poderá ser-lhe pedido a sua palavra-passe de utilizador Mac para guardar as suas definições.
Para telemóvel:
Para configurar um servidor proxy AWS para o seu dispositivo móvel, basta alterar as definições proxy do seu telemóvel. AWS copiará automaticamente as definições proxy do seu telemóvel sempre que o utilizar. Isto é aplicável tanto para o Android como para o iOS. Aqui está um guia completo para Android e outro para iPhone.
Parabéns! Terminou agora a configuração de um servidor proxy AWS. Note que na primeira vez que o visitar, haverá um pop up a pedir as suas credenciais de login.
