O IMDb, sigla de Internet Movie Database, é a maior e mais popular base de dados sobre cinema da Internet. Possui uma coleção abrangente de tudo o que está relacionado com dados cinematográficos, incluindo trailers e datas de estreia, informações sobre receitas de bilheteira, críticas de utilizadores, programas de televisão e de entretenimento, entre muitos outros. O IMDb tem ajudado os utilizadores a explorar novos filmes ou séries e a descobrir o que querem ver.
A extensa lista de dados sobre filmes do IMDb torna-o o local perfeito para extrair esse tipo de informação. Para recolher dados sobre filmes de forma rápida e eficiente, é necessário utilizar um bot de web scraping. Uma ferramenta de web scraping irá extrair dados do IMDb, ou de qualquer outro site, mais rapidamente do que qualquer ser humano conseguiria.
O problema de utilizar bots de web scraping e quaisquer outras ferramentas de automatização é que sites como o IMDb não permitem a sua utilização. Se for apanhado a utilizar um, a sua conta e o seu endereço IP serão imediatamente banidos do site. É necessário utilizar proxies para evitar ser banido, uma vez que um servidor proxy faz com que os sites pensem que o seu bot é um utilizador genuíno, pelo que os sites não o banirão. Os melhores proxies para o IMDb seriam proxies residenciais ou proxies de centro de dados.
Vamos configurar um servidor proxy para fazer scraping no IMDb.
Passo 1. Na barra de pesquisa do Windows, escreva «Definições de proxy».
Passo 2. Clique no resultado da pesquisa «Definições de proxy».
Passo 3. Ser-lhe-á apresentada a opção de Configuração automática do proxy ou Configuração manual do proxy. Para efeitos de exemplo, vamos escolher «Configuração manual do proxy».
Passo 4. Ative a opção «Utilizar um servidor proxy».
Agora, tem de aceder ao site do seu fornecedor de proxy e obter os detalhes do servidor proxy. Se pretender obtê-los em Geonode, pode avançar para “Obter os detalhes do servidor proxy com Geonode”.
Passo 5. Introduza o “Nome do anfitrião” ou o “Endereço IP” do seu proxy. Esta é a primeira parte antes do ponto e vírgula, que no nosso exemplo é «premium-residential.geonode.com».
Passo 6. Introduza o «Número da porta» do seu proxy. Esta é a segunda parte antes do ponto e vírgula, que no nosso exemplo é “9001”.
Passo 7. Introduza quaisquer “endereços de sites” que pretenda visitar sem proxy.
Se pretender aceder a um servidor local sem proxy, ative a caixa de seleção «Não utilizar o servidor proxy para endereços locais».
Passo 8. Clique em «Guardar».
Passo 9. Por fim, aceda a qualquer site no Google Chrome e aparecerá uma janela pop-up a solicitar as credenciais da sua conta. Introduza o «Nome de utilizador» e a «Palavra-passe» da sua conta. Em seguida, clique em «Iniciar sessão».
Parabéns! Já configurou um servidor proxy para o seu sistema operativo Windows.
Passo 1. Clique no «Ícone da Apple».
Passo 2. No menu suspenso, clique em «Preferências do Sistema».
Passo 3. Clique em «Rede».
Passo 4. Clique em «Avançado» Nota: Certifique-se de que se liga primeiro à sua rede Wi-Fi.
Passo 5. Clique em «Proxies»
Isto deverá redirecioná-lo para as definições de proxy do macOS. Agora, tem de aceder ao seu fornecedor de proxy e obter os detalhes do servidor proxy. Se quiser obtê-los em Geonode, pode avançar para «Obter os detalhes do servidor proxy com Geonode».
Passo 6. Selecione o protocolo correto que irá utilizar. Para o nosso exemplo, iremos selecionar «Proxy Web (HTTP)».
Passo 7. Introduza o «Nome do anfitrião» ou o «Endereço IP» do seu proxy. Trata-se da primeira parte antes do ponto e vírgula, que no nosso exemplo é «premium-residential.geonode.com”.
Passo 8. Introduza o “Número da porta” do seu proxy. Esta é a segunda parte antes do ponto e vírgula, que no nosso exemplo é “9001”.
Passo 9. Ative a opção “O servidor proxy requer palavra-passe”.
Passo 10. Introduza o «Nome de utilizador» e a «Palavra-passe» da sua conta de proxy.
Parabéns! Já configurou o seu proxy para o sistema operativo Mac.
Passo 1. Aceda a Geonode e inicie sessão com a sua conta existente ou registe-se para criar uma nova.
Passo 2. Na página inicial, clique em «Serviços Residenciais».
Passo 3. Desça a página até ver «Endpoints».
Passo 4. Escolha qual o «Protocolo de proxy» que pretende utilizar: «Protocolo HTTP» ou «Protocolo SOCKS5».
Passo 5. Selecione o «Tipo de sessão» que pretende utilizar: «Proxy rotativo» ou Proxy fixo.
Passo 6. Escolha o proxy que pretende utilizar. A título de exemplo, vamos utilizar o proxy destacado “premium-residential.geonode.com:9001”.
Se pretender utilizar um endereço IP em vez de um DNS, basta desativar o botão «Mostrar DNS» e os endereços IP serão apresentados.
Passo 7. Agora precisa dos «Detalhes de autenticação» da sua conta de proxy. No caso do Geonode, estes encontram-se na página inicial da sua conta.
