O Glassdoor é um site onde potenciais candidatos encontram empregos e ex-funcionários podem avaliar a empresa onde trabalharam. Estas avaliações incluem a experiência que tiveram ao trabalhar nessa empresa, com o objetivo de ajudar a orientar futuros candidatos nas suas escolhas profissionais. Além disso, os ex-funcionários também podem indicar o salário que auferiam no cargo que ocupavam enquanto trabalhavam na empresa.
Existem muitas informações valiosas sobre inúmeras empresas no Glassdoor que podem ser utilizadas para diversos fins. No entanto, extrair manualmente cada uma dessas páginas web exigiria muito tempo e esforço. É por isso que precisa de um bot de extração para extrair todos esses dados de avaliações de forma rápida e eficiente. No entanto, a maioria dos sites tem restrições rigorosas contra a utilização de bots, pelo que precisa de associar o seu bot a um proxy do Glassdoor.
Um proxy do Glassdoor irá tratar de todos os teus pedidos à Web por ti, o que te permite ocultar o teu endereço IP; assim, qualquer site que visitares só poderá ver o endereço IP do servidor proxy. Ao alternar continuamente entre milhões de IPs, o teu bot terá um endereço IP diferente cada vez que enviar um pedido ao servidor Web.
Os melhores proxies do Glassdoor para utilizar em conjunto com o seu bot de scraping seriam os proxies residenciais, uma vez que estes tipos de proxies utilizam IPs residenciais provenientes de dispositivos reais. Isto faz com que qualquer site pense que as solicitações do seu bot provêm de vários utilizadores reais e não apenas de um único IP. Agora pode extrair dados do Glassdoor sem receio de ser sinalizado e banido pelo site.
Vamos configurar um servidor proxy para o Glassdoor.
Nota: Certifique-se de que o navegador que está a utilizar para aceder ao Glassdoor está configurado para copiar automaticamente as definições de proxy do seu computador. O Google Chrome faz isso automaticamente, pelo que se recomenda a sua utilização.
Para o Windows:
Para configurar proxies no Windows, basta procurar por «Definições de proxy» na barra de pesquisa do Windows e abrir o resultado da pesquisa.
Ser-lhe-ão então apresentadas duas opções à escolha: Configuração automática do proxy ou Configuração manual do proxy. Se pretender que o Windows detete automaticamente as suas definições de proxy, escolha a primeira opção. Escolha a segunda opção se pretender utilizar um endereço IP e um número de porta específicos.
Se tiver escolhido a primeira opção, então:
- Ative Detetar configurações automaticamente
- Ative Utilizar script de configuração
- Introduza o endereço do script
- Clique em Guardar
Se tiver escolhido a segunda opção, então:
- Ative Usar um servidor proxy
- Introduza tanto o endereço do servidor como o número da porta
- Se tiver algum endereço que pretenda visitar sem proxy, introduza-o aqui
- Ative a caixa de seleção «Não utilizar o servidor proxy para endereços locais» se pretender aceder a um servidor local sem proxy
- Clique em Guardar
Para Mac.
Para começar a configurar as definições de proxy no macOS, basta:
Passo 1. Clique no ícone da Apple.
Passo 2. No menu suspenso, clique em «Preferências do Sistema».
Passo 3. Clique em «Rede»
Passo 4. Clique em «Avançado»
Nota: Certifique-se de que se liga primeiro à sua rede Wi-Fi.
Passo 5. Clique em «Proxies»
Isto deverá redirecioná-lo para as definições de proxy do macOS. O macOS é mais simples em comparação com o Windows. Tem apenas uma opção, que é configurar manualmente o seu servidor proxy.
Eis os passos a seguir:
- Selecione o protocolo IP do proxy que pretende configurar. Isto depende dos protocolos que o seu fornecedor de serviços de proxy oferece.
- Ative o Proxy Web Seguro
- Introduza o Endereço do Servidor Proxy e o Número da Porta
- Clique em OK para guardar as configurações
Nota: Poderá ser-lhe solicitada a palavra-passe de utilizador do Mac para guardar as suas definições.
Texto alternativo da imagem: Configurar as definições de proxy do macOS
Para dispositivos móveis:
Para configurar um servidor proxy do Glassdoor no seu dispositivo móvel, basta alterar as definições de proxy do seu telemóvel. O navegador móvel que estiver a utilizar para aceder ao Glassdoor irá copiar automaticamente as definições de proxy do seu telemóvel sempre que o utilizar. Isto aplica-se tanto ao Android como ao iOS.
Aqui está um guia detalhado para Android e outro para iPhone.
Parabéns! Já concluíste a configuração do teu servidor proxy do Glassdoor. Tem em atenção que, na primeira vez que o visitares, aparecerá uma janela pop-up a solicitar as tuas credenciais de início de sessão.
