Wikipédia é uma enciclopédia em linha que é escrita e mantida por um grupo de voluntários. É a maior e mais amplamente utilizada enciclopédia do mundo e está regularmente no topo dos sítios web mais populares da Internet. Contém informação sobre quase todos os tópicos sobre todos os ramos do conhecimento. Embora seja a obra de referência mais lida do mundo, as escolas e instituições citam a Wikipédia como uma fonte pouco fiável porque qualquer pessoa pode editar os artigos nela contidos.
Sendo a maior colecção de conhecimento disponível no mundo digital, há uma quantidade de dados e informação de inspiração que pode ser extraída para uma variedade de fins. No entanto, raspar manualmente cada página web individual da Wikipedia levaria muito tempo e esforço. De facto, com mais de 56 milhões de artigos na Wikipédia, é quase impossível para uma única pessoa raspar essas páginas uma a uma. É por isso que os utilizadores utilizam um bot de raspagem da Wikipédia.
Um bot da Wikipedia raspará automaticamente através das páginas da Wikipedia e reunirá toda essa informação para si. Mas um bot da Wikipedia por si só não é suficiente, uma vez que precisa de o emparelhar com um proxy da Wikipedia. A maioria dos sítios Web tem uma restrição estrita contra o uso de bots no seu sítio Web e proibiria imediatamente qualquer conta apanhada a usar um. Um proxy da Wikipedia disfarçaria o seu bot para aparecer como se fosse um utilizador real, o que o impede de ser banido e permite raspar qualquer sítio web que queira.
Isto é possível porque um proxy da Wikipedia irá esconder o seu endereço IP de qualquer website que visitar. Todos os pedidos do seu bot seriam feitos através do servidor proxy. Isto significa que os websites só verão o endereço IP do servidor proxy e não o seu próprio. Através de proxies rotativos, pode alterar continuamente o endereço IP do servidor proxy e fazer todos os pedidos do seu bot como se viesse de pessoas diferentes.
Vamos criar um servidor proxy da Wikipedia.
Note: Certifique-se de que o browser que está a usar para a Wikipedia está configurado para copiar automaticamente as definições de proxy do seu computador. O Google Chrome faz isto automaticamente, pelo que se recomenda a sua utilização.
Para Windows:
Para configurar proxies no Windows, basta procurar por "Definições de Proxy" na barra de pesquisa do seu Windows e abrir o resultado da pesquisa.
São-lhe então dadas duas opções de escolha: Configuração automática de proxy ou Configuração manual de proxy. Se quiser que o Windows detecte automaticamente as suas definições de proxy, escolha a primeira opção. Escolha a segunda opção se quiser utilizar um endereço ip específico e um número de porta.
Se escolheu a primeira opção, então:
- Ligue Detectar automaticamente as definições*.
- Ligar Utilizar o guião de configuração*.
- Introduza o endereço escrito*.
- Clique Salvar*.
Se escolheu a segunda opção, então:
- Ligue Utilizar um servidor proxy*.
- Introduza tanto o endereço do servidor como o número da porta*.
- Se tiver algum endereço que gostaria de visitar sem procuração, introduza-o aqui
- Ligue Não utilize o servidor proxy para endereços locais se quiser aceder a um servidor local sem um proxy*.
- Clique Salvar*.
Para Mac.
Para começar a configurar as suas definições proxy em MacOS, basta:
Passo 1. Clique no Ícone Apple.
Passo 2. No menu suspenso, clicar em "Preferências do Sistema".
Passo 3. Clicar em "Rede ".
Passo 4. Clique em "Avançado "
MacNetworkAdvancedSettings.png](https://res.cloudinary.com/delbwqa4s/image/upload/v1651651431/mac_Network_Advanced_Settings_ef23bd9f2b.png)
Note: Certifique-se de se ligar primeiro à sua wi-fi.
Passo 5. Clique em "Proxies "
Isto deverá então redireccioná-lo para definições de proxy MacOS. O MacOS é mais simples em comparação com o Windows. Tem apenas uma opção que é a de configurar manualmente o seu servidor proxy.
Aqui estão os passos a seguir:
- Seleccione qual proxy IP protocolo* pretende configurar. Isto depende de quais protocolos o seu fornecedor de serviços proxy oferece.
- Ligar Proxy Web Seguro*
- Introduza o Endereço do Servidor Proxy e o Número de Porta*.
- Clique OK* para guardar as configurações
Note: Poderá ser-lhe pedido a sua palavra-passe de utilizador Mac para guardar as suas definições.
Para telemóvel:
Para configurar um servidor proxy da Wikipedia para o seu dispositivo móvel, basta alterar as definições proxy do seu telemóvel. O web browser que está a utilizar para a Wikipedia copiará automaticamente as definições de proxy do seu telemóvel sempre que o utilizar. Isto é aplicável tanto para o Android como para o iOS. Aqui está um guia completo para Android e outro para iPhone.
Parabéns! Já terminou a configuração de um servidor proxy da Wikipedia. Note que na primeira vez que o visitar, haverá um pop up a pedir as suas credenciais de login.
