O que é um ID de sub-rede? Uma explicação simples

A nossa área de atuação situa-se na segunda parte disso: somos a Geonode e comercializamos proxies. A verdade é que a diversidade de sub-redes é um indicador genuíno de qualidade e que a dimensão do conjunto de endereços é, na sua maioria, um número de marketing — e isto vai contra toda a indústria, incluindo a nossa, porque «150 milhões de IPs» é muito mais fácil de colocar numa página de destino do que «os nossos endereços abrangem N /24 distintos nos países de que necessita». Se tiver de reter apenas uma coisa deste artigo, que seja a pergunta a fazer a um fornecedor: não quantos endereços, mas como estão distribuídos. Essa é uma pergunta mais difícil de responder e mais útil.

O Conceito Básico

Cada endereço IP desempenha duas funções ao mesmo tempo. Uma parte indica em que rede se encontra o computador; a outra parte indica qual o computador específico nessa rede.

192.168.10.42
└──────┘ └─┘
 network  host

A divisão entre estas duas partes não é fixa. É definida pela máscara de sub-rede ou, de forma equivalente, pelo comprimento do prefixo na notação CIDR. A parte da rede é o ID da sub-rede — por vezes denominado endereço de rede ou prefixo de rede — e é o mesmo para todos os computadores nessa sub-rede.

Os routers dão importância a isto porque lhes permite tomar decisões em massa. Um router não precisa de uma regra por endereço; precisa de uma regra por rede. Essa agregação é a razão pela qual as tabelas de encaminhamento da Internet têm um tamanho gerível.

Notação CIDR: a forma como isto é realmente escrito

Na prática moderna, a divisão é expressa explicitamente. A RFC 4632 define o formato:

um prefixo é apresentado como uma quantidade de 4 octetos, tal como um endereço IPv4 tradicional ou um número de rede, seguido do carácter «/» (barra), seguido de um valor decimal entre 0 e 32 que descreve o número de bits significativos.

Assim, 192.168.99.0/24 significa que os primeiros 24 bits correspondem à rede e os restantes 8 identificam os anfitriões. A RFC fornece o mapeamento a partir do sistema de classes mais antigo: a rede legada «Classe B» 172.16.0.0 com máscara 255.255.0.0 corresponde a 172.16.0.0/16, e a rede legada «Classe C» 192.168.99.0 corresponde a 192.168.99.0/24.

A vantagem em relação às antigas classes fixas, nas palavras da RFC: «A utilização de prefixos sem classe com comprimentos de prefixo explícitos permite uma correspondência muito mais flexível dos blocos de espaço de endereçamento de acordo com a necessidade real. Enquanto anteriormente só estavam disponíveis três tamanhos de rede, os prefixos podem ser definidos para descrever qualquer bloco com tamanho de potência de dois, compreendido entre um e 2^32 endereços de sistemas finais.»

Em cada sub-rede normal, há dois endereços que não podem ser utilizados por anfitriões: o primeiro é o próprio ID da sub-rede e o último é o endereço de difusão. Daí o número 254, em vez de 256, numa sub-rede /24.

Quanto menor for o número do prefixo, maior será o bloco. Um /8 é enorme — a RFC refere que a IANA atribui aos Registos Regionais da Internet «em blocos contíguos alinhados em bits de 2^24 endereços (também conhecidos como prefixos /8)», que os RIRs subdividem posteriormente.

Como calcular um ID de sub-rede

A resposta técnica: uma operação AND bit a bit entre o endereço e a máscara.

Para 192.168.10.42/24

:

address  11000000.10101000.00001010.00101010
mask     11111111.11111111.11111111.00000000
AND      11000000.10101000.00001010.00000000
       = 192.168.10.0

O ID da sub-rede é 192.168.10.0

, o endereço de difusão é 192.168.10.255

e os hosts utilizáveis vão de .1

a .254

.

Num prefixo que não se enquadra num limite de octeto, o cálculo é menos óbvio. Para 192.168.10.42/26

, a máscara é 255.255.255.192

, pelo que o octeto final é dividido em 2 bits de rede e 6 bits de anfitrião. Isso resulta em quatro sub-redes de 64 endereços cada, com limites em 0, 64, 128 e 192. Uma vez que 42 se encontra no primeiro bloco, o ID da sub-rede é 192.168.10.0

e a transmissão de difusão é 192.168.10.63

.

Na prática, deixe que uma ferramenta trate disso:

ipcalc 192.168.10.42/26

Ou em Python:

import ipaddress
net = ipaddress.ip_network('192.168.10.42/26', strict=False)
print(net.network_address)    # 192.168.10.0
print(net.broadcast_address)  # 192.168.10.63
print(net.num_addresses)      # 64

O ``strict=False`

` é importante: indica à biblioteca que lhe está a fornecer um endereço de anfitrião e que pretende a rede que o contém, em vez de afirmar que o endereço é uma rede.

Intervalos privados e por que razão os vemos em todo o lado

Existem três intervalos que nunca aparecem na Internet pública. A RFC 1918 reserva-os:

10.0.0.0    - 10.255.255.255   (10/8 prefix)
172.16.0.0  - 172.31.255.255   (172.16/12 prefix)
192.168.0.0 - 192.168.255.255  (192.168/16 prefix)

A RFC descreve-os como o «bloco de 24 bits», o «bloco de 20 bits» e o «bloco de 16 bits», e refere que uma empresa que os utilize «pode fazê-lo sem qualquer coordenação com a IANA ou com um registo da Internet».

Consequências práticas que vale a pena conhecer:

Não são roteáveis na Internet. Todos os routers domésticos do mundo atribuem endereços 192.168.x.x, e nenhum deles entra em conflito, porque nenhum deles sai do edifício.

Um proxy que devolva um destes endereços como o seu «IP externo» está mal configurado. Se um serviço de pesquisa indicar um endereço 10.x ou 192.168.x, significa que algo no caminho está a indicar um endereço interno em vez de um endereço público.

Estes endereços são importantes para a configuração dNO_PROXY. Excluir intervalos privados do proxy é uma prática padrão, e errar nesta configuração é uma causa comum de serviços internos serem misteriosamente encaminhados através de um proxy externo.

Por que razão as sub-redes são importantes para os proxies

É aqui que um conceito de redes se traduz numa decisão de compra.

O bloqueio ocorre ao nível da sub-rede. Quando um site decide que um endereço constitui um problema, bloquear apenas esse endereço é, muitas vezes, inútil, porque o operador dispõe de mais 253 endereços no mesmo bloco. Por isso, a resposta prática é bloquear o intervalo — normalmente o /24, por vezes maior. Esta é uma prática defensiva padrão e é totalmente racional do ponto de vista do site.

A consequência para si: se o seu conjunto de proxies consistir em muitos endereços dentro de poucas sub-redes, este comporta-se como um conjunto muito pequeno. Cinquenta endereços num203.0.113.0/24, do ponto de vista do bloqueio, estão mais próximos de um único endereço do que de cinquenta. Pode esgotá-los todos com uma única taxa de pedidos mal avaliada.

É por isso que o tamanho do conjunto é uma métrica inadequada. «10 milhões de IPs» não diz nada sobre a distribuição. Um conjunto de dez mil endereços distribuídos por quatro mil /24 distintos é mais resiliente do que um conjunto de um milhão concentrado em algumas centenas. Os endereços consecutivos são baratos de adquirir para um fornecedor e estão correlacionados exatamente da forma que importa.

Os endereços de centros de dados e residenciais diferem estruturalmente neste aspeto. Os endereços de centros de dados são atribuídos a fornecedores de alojamento em blocos contíguos, razão pela qual são baratos e fáceis de identificar e bloquear em massa — um site pode bloquear toda a atribuição de um fornecedor de alojamento com apenas algumas regras. Os endereços residenciais provêm de ISP de consumidores, distribuídos por muitos blocos, atribuídos dinamicamente e misturados com utilizadores comuns. Essa distribuição é uma parte substancial do que paga a mais.

A diversidade de sub-redes também afeta a forma como deve efetuar a rotação. Fazer a rotação entre endereços dentro de um único /24 não é, na verdade, uma rotação. Se o seu fornecedor lhe der visibilidade sobre os blocos, distribua os seus pedidos por entre eles, em vez de os enviar sequencialmente.

Verificação da diversidade de sub-redes num conjunto

É aconselhável fazê-lo durante um período de teste, antes de se comprometer.

Recolha uma amostra de endereços de saída e conte os /24 distintos:

for i in $(seq 1 200); do
  curl -s -x "$PROXY" https://api.ipify.org
  echo
done | sort -u > ips.txt

wc -l < ips.txt                                   # distinct addresses
cut -d. -f1-3 ips.txt | sort -u | wc -l           # distinct /24 blocks

A proporção é o número que lhe interessa. Duzentas moradas únicas distribuídas por cento e oitenta /24 constituem um conjunto bem distribuído. Duzentas moradas distribuídas por seis /24 constituem um conjunto muito mais pequeno do que parece.

Alargue a análise aos /16 para obter uma visão mais geral:

cut -d. -f1-2 ips.txt | sort -u | wc -l

E verifique os números dos sistemas autónomos, se possível, uma vez que um conjunto distribuído por muitos /24 que pertençam todos a um único operador é menos diversificado do que a contagem de sub-redes sugere. A consulta de whois

numa amostra de endereços irá revelar-lhe isso.

Faça isto por país, não de forma agregada. Um conjunto com excelente diversidade a nível global pode estar concentrado precisamente no local de que realmente precisa — e um valor agregado esconde isso completamente, o que corresponde ao mesmo problema de falha silenciosa que descrevemos em por que é importante testar proxies.

Acima da sub-rede: ASNs, WHOIS e Geofeeds

As sub-redes constituem um nível da hierarquia, e os níveis acima delas são igualmente importantes para a forma como um endereço é avaliado.

Os registos regionais atribuem de cima para baixo. A RFC 4632 descreve a cadeia: a IANA atribui blocos /8 aos Registos Regionais da Internet (RIRs) e os RIRs, «por sua vez, atribuem ou designam blocos de endereços mais pequenos» para os níveis inferiores. Assim, cada endereço público insere-se num conjunto aninhado de atribuições, sendo que cada nível constitui um registo público.

O WHOIS indica quem detém um bloco. A consulta de um endereço devolve a alocação a que pertence, a organização, o país e, normalmente, um contacto. É assim que qualquer pessoa determina se um endereço pertence a um fornecedor de alojamento ou a um ISP de consumidores — não se trata de uma inferência, mas sim de uma pesquisa:

whois 203.0.113.10 | grep -iE 'netname|orgname|country|cidr'

Os Números de Sistema Autónomo (ASN) agrupam blocos por operador. Um AS é um conjunto de prefixos sob uma única política de encaminhamento, e um único operador pode anunciar centenas de blocos separados sob um único ASN. É a este nível que normalmente ocorre o bloqueio em massa do tráfego de centros de dados: um site não enumera os /24 de um fornecedor de alojamento, bloqueia sim o ASN.

A implicação prática para a avaliação do conjunto é que a diversidade de /24 é necessária, mas não suficiente. Quatrocentos /24 distintos, todos sob um único ASN de alojamento, podem ser bloqueados com uma única regra. Verificar a dispersão dos ASN de uma amostra é um segundo teste, mais aproximado, que vale a pena realizar em paralelo com a contagem de sub-redes:

for ip in $(head -50 ips.txt); do
  whois "$ip" | grep -iom1 'AS[0-9]\+'
done | sort | uniq -c | sort -rn

Os geofeeds são a forma como os dados de localização são corrigidos. Os operadores de rede podem publicar um ficheiro legível por máquina que mapeia os seus prefixos para localizações, normalizado na RFC 8805, e os fornecedores de geolocalização importam-nos. Isto explica um fenómeno que, de outra forma, pareceria incompetência do fornecedor: duas bases de dados de geolocalização em desacordo sobre o mesmo endereço, porque uma incorporou uma atualização recente do geofeed e a outra não. Uma vez que a geolocalização é feita por prefixo e não por endereço, toda uma sub-rede muda de localização de uma só vez quando uma correção é aplicada.

A reputação é herdada nos dois sentidos. Um endereço herda do seu /24, da sua alocação de maior dimensão e do seu ASN. Também contribui para o inverso. É por isso que um utilizador que se comporta bem num conjunto residencial partilhado pode ser afetado pelo comportamento de outra pessoa horas antes, e é por isso que «o proxy deixou de funcionar» muitas vezes não tem nada a ver com o que o utilizador fez.

Para quem estiver a avaliar um conjunto de endereços, a lista de verificação resultante é curta: conte os /24 distintos numa amostra, conte os ASN distintos, verifique se as entradas WHOIS parecem pertencer a ISP de consumidores em vez de empresas de alojamento, caso esteja a pagar por um serviço residencial, e repita tudo isto por país, em vez de de forma agregada.

O IPv6 muda a aritmética

Resumidamente, porque se torna cada vez mais relevante.

O IPv6 utiliza a mesma notação CIDR com comprimentos de prefixo até 128. As atribuições convencionais são muito maiores: um único site final recebe normalmente um /48 ou /56, e um único segmento de rede é, convencionalmente, um /64 — o que contém mais endereços do que toda a Internet IPv4.

Duas consequências para tudo o que envolve reputação:

Um /64 é a unidade significativa, não um único endereço. Como um único assinante controla todo o /64, bloquear um único endereço IPv6 não serve de nada. Os sites que lidam com o IPv6 de forma sensata monitorizam a reputação ao nível do /64 ou em escalas mais amplas.

Um grande número de endereços, por si só, não significa nada. Um fornecedor que anuncie um número enorme de endereços IPv6 pode estar, na verdade, a anunciar um único /64. A questão relevante é quantos /64 distintos — ou, melhor ainda, quantos /48 — o conjunto abrange.

Perguntas frequentes

O que é um ID de sub-rede?

A parte de um endereço IP que identifica a rede, em vez do anfitrião individual. É obtido através da aplicação da máscara de sub-rede ao endereço, e todas as máquinas nessa sub-rede partilham-no. Na notação CIDR, é escrito com um comprimento de prefixo, como em 192.168.10.0/24.

Como calculo o ID da sub-rede a partir de um endereço IP?

Efetue uma operação AND bit a bit entre o endereço e a máscara de sub-rede. Para 192.168.10.42/24, a máscara é 255.255.255.0, o que resulta em 192.168.10.0. Para prefixos não alinhados por octeto, utilize uma ferramenta — ipcalc ou ipaddress.ip_network(addr, strict=False) em Python.

O que significa /24 num endereço IP?

Significa que os primeiros 24 bits são o prefixo da rede, restando 8 bits para os anfitriões. Um /24 contém 256 endereços, dos quais 254 são utilizáveis, uma vez que o primeiro é o ID da sub-rede e o último é o endereço de difusão. Corresponde à máscara 255.255.255.0.

Por que razão os sites bloqueiam sub-redes inteiras?

Porque bloquear um único endereço raramente ajuda quando o operador controla os outros 253 no mesmo bloco. Bloquear o intervalo é a resposta eficaz e constitui uma prática padrão. É exatamente por isso que os conjuntos de proxies concentrados se comportam como conjuntos muito mais pequenos do que o número de endereços sugere.

Quantas sub-redes deve um conjunto de proxies abranger?

Não existe um número único, mas o que importa é a proporção: analise algumas centenas de endereços de saída e conte os /24 distintos. Uma proporção elevada de blocos em relação aos endereços indica diversidade genuína. Meça-a por país, em vez de de forma agregada, porque um conjunto pode ser diversificado a nível global e concentrado exatamente onde é necessário.

A diversidade de sub-redes é mais importante do que o tamanho do conjunto?

Para resiliência contra o bloqueio, sim. Os endereços no mesmo /24 estão correlacionados — um bloco pode inutilizar todos eles. Os endereços consecutivos são também os mais baratos de adquirir para um fornecedor, pelo que um grande conjunto com pouca diversidade é fácil de anunciar, mas menos útil do que parece.

O que são intervalos de IP privados?

10.0.0.0/8, 172.16.0.0/12 e 192.168.0.0/16, reservados pela RFC 1918 para uso interno e que nunca são encaminhados na Internet pública. Qualquer organização pode utilizá-los sem necessidade de coordenação. Se um proxy indicar um destes endereços como o seu endereço externo, significa que algo na configuração está errado.

A sub-rede funciona de forma diferente com o IPv6?

A notação é idêntica, mas a escala não é. Os sites finais recebem normalmente um /48 ou /56 e um único segmento é um /64, o que é maior do que toda a Internet IPv4. Como um assinante controla um /64 inteiro, a reputação e o bloqueio funcionam ao nível do /64 ou a um nível mais agregado — pelo que as contagens brutas de endereços IPv6 são praticamente insignificantes.

Conclusão

O ID da sub-rede é a parte da rede de um endereço IP, determinada pela máscara ou pelo comprimento do prefixo CIDR. Trata-se de um conceito simples, e a operação aritmética subjacente é um «AND» bit a bit que pode ser realizada com um script de uma linha.

O que faz com que valha a pena compreender isto fora de um curso de redes é que a Internet trata as sub-redes como unidades. Os routers agregam-nas, os registos atribuem-nas e — a parte que importa do ponto de vista comercial — os sites bloqueiam-nas. Um endereço raramente é avaliado inteiramente pelos seus próprios méritos; herda a reputação dos seus vizinhos.

Por isso, quando se avaliam endereços para comprar, a questão que distingue um bom conjunto de um conjunto «inflado» é a distribuição, e não a quantidade. Analise algumas centenas de saídas, conte os /24 distintos, faça-o por país e compare essa proporção entre os fornecedores. Demora dez minutos, é o número que os fornecedores não colocam nas páginas de destino e prevê como o conjunto se comportará muito melhor do que o número apresentado no título.