A nossa posição, declarada: somos a Geonode e vendemos proxies, que constituem a infraestrutura que utilizaria para recolher dados da Web por conta própria. A verdade é que quase ninguém o deveria fazer. Os corpora públicos abaixo representam um enorme trabalho de filtragem, deduplicação e cuidados legais; são gratuitos e reproduzir até mesmo uma fração desse trabalho constitui um programa de investigação, e não um projeto. Nos casos em que a recolha se justifica verdadeiramente — um domínio restrito que ninguém tenha publicado, ou dados recentes que ultrapassem o limite temporal de um corpus —, trata-se de uma tarefa pequena e específica, em vez de um rastreio à escala da Web. Essa secção encontra-se no final e é curta, deliberadamente.
A camada subjacente: Common Crawl
Quase todos os corpora abertos da Web provêm da mesma fonte.
O Common Crawl é um arquivo da Web gratuito que contém milhares de milhões de páginas, publicado sob a forma de instantâneos periódicos de rastreamento no AWS S3 em us-east-1 e disponível via HTTP em data.commoncrawl.org. O acesso anónimo funciona com a CLI da AWS utilizando --no-sign-request, ou com ferramentas comuns como wget e curl.
São publicados três formatos, e saber qual deles pretende poupará uma largura de banda considerável:
WARC — «os dados brutos do rastreio, fornecendo um mapeamento direto para o processo de rastreio», incluindo respostas HTTP, pedidos e metadados. Completo e muito volumoso.
WAT — ficheiros «Web Archive Transformation» que contêm metadados calculados em JSON, incluindo cabeçalhos HTTP e ligações para páginas. A escolha certa para trabalhos com grafos de ligações.
WET — ficheiros «WARC Encapsulated Text» com apenas texto simples extraído. A escolha certa para modelação linguística e significativamente mais pequenos do que os WARC.
O importante a compreender é que o Common Crawl é uma matéria-prima, não um conjunto de dados. Contém conteúdo padrão, navegação, spam, duplicados, tradução automática e todos os outros artefactos da Web aberta. O valor dos corpora derivados abaixo reside quase inteiramente na filtragem, e é nessa filtragem que reside a investigação.
FineWeb
O corpus da Web da Hugging Face e a atual referência em matéria de dados abertos da Web em grande escala.
O FineWeb deriva do Common Crawl e contém 25,9 mil milhões de linhas, abrangendo rastreamentos desde CC-MAIN-2013-20 até CC-MAIN-2025-26 — aproximadamente desde meados de 2013 até meados de 2025. É disponibilizado sob a licença ODC-BY, a licença de atribuição da Open Data Commons.
Cada registo contém indicadores de qualidade, incluindo uma pontuação de idioma e uma contagem de tokens, que são mais importantes do que parecem: permitem-lhe filtrar ainda mais o corpus para os seus próprios fins sem ter de refazer o pipeline. Querer apenas inglês de alta confiança acima de um limiar de comprimento é uma expressão de filtragem, em vez de uma tarefa de pré-processamento.
A razão pela qual vale a pena começar com o FineWeb é que as decisões de filtragem estão documentadas e comprovadas, em vez de serem simplesmente afirmadas. Quando um corpus indica quais as opções de filtragem que melhoraram o desempenho dos benchmarks a jusante e em que medida, é possível discordar delas deliberadamente.
Dolma
O corpus da Allen AI, e o mais transparente quanto à sua composição.
Dolma é descrito como «um conjunto de dados com 3 biliões de tokens provenientes de uma mistura diversificada de conteúdos da Web, publicações académicas, código, livros e materiais enciclopédicos», composto por 2,532 mil milhões de documentos. A versão 1.7, contendo 1,715 triliões de tokens, foi utilizada para treinar o OLMo 7B-v1.7.
As suas fontes são identificadas individualmente: páginas web do Common Crawl, código do StarCoder e do The Stack, artigos académicos do S2ORC e do arXiv, Reddit, livros do Project Gutenberg e Wikipédia.
É disponibilizado sob a licença ODC-BY, com uma ressalva importante claramente indicada: os utilizadores «também estão sujeitos às licenças originais das fontes que o constituem». Essa é a frase que deve ser lida duas vezes. Uma licença permissiva sobre a compilação não se sobrepõe às licenças dos elementos que a compõem, e isto aplica-se a todos os corpora derivados, independentemente de tal estar ou não explicitamente indicado.
Há ainda dois pontos que fazem com que o Dolma mereça atenção para além do seu conteúdo. A Allen AI publicou o conjunto de ferramentas de curadoria como código aberto, pelo que o conjunto de dados é reprodutível e não apenas descarregável — é possível alterar uma decisão de filtragem e reconstruí-lo. E existe um mecanismo de remoção: um formulário para notificar os responsáveis pela manutenção sobre documentos que contenham informações pessoais relativas a um utilizador específico.
Essa combinação — fontes identificadas, ferramentas abertas, um procedimento de remoção — é o que caracteriza uma publicação responsável de conjuntos de dados, e constitui um padrão razoável a exigir dos outros.
The Stack v2
O corpus de código e o mais rigoroso dos principais conjuntos de dados no que diz respeito ao licenciamento.
The Stack v2 do Projeto BigCode é «uma coleção de código-fonte em mais de 600 linguagens de programação», contendo 3,28 mil milhões de ficheiros únicos, num total de 67,53 TB sem compressão, abrangendo 658 linguagens. As variantes de treino são filtradas para 17 ou mais de 600 linguagens, dependendo da versão.
A sua proveniência é invulgar e merece destaque: os dados provêm do arquivo Software Heritage, descrito como «o maior arquivo público de código-fonte de software», combinado com metadados do GitHub Archive até setembro de 2023.
Dois mecanismos distinguem-no.
Filtragem por licença. O conjunto de dados «contém apenas código com licenças permissivas». Os criadores «propagam as licenças detetadas a todos os ficheiros» dentro dos repositórios e mantêm uma lista selecionada de identificadores SPDX aceitáveis, com base nas aprovações do Blue Oak Council. Trata-se de uma abordagem consideravelmente mais rigorosa do que a filtragem com base no campo de licença declarado de um repositório.
Opção de exclusão para os programadores. Existe uma ferramenta «Am I In The Stack?» para verificar a inclusão, um processo de remoção documentado e o conjunto de dados é «atualizado regularmente para dar seguimento a pedidos validados de remoção de dados».
Independentemente do que se pense sobre o treino com código público, esta é a implementação mais defensável atualmente disponível, e o mecanismo de exclusão é genuíno, não se tratando apenas de um gesto simbólico.
Licenças e proveniência
Esta é a parte que determina se pode realmente utilizar alguma destas informações, e tem mais camadas do que um único campo de licença sugere.
A licença da compilação não é a licença do conteúdo. A ODC-BY no FineWeb ou no Dolma rege a coleção. Os documentos subjacentes têm os seus próprios direitos de autor, e o Dolma afirma-o explicitamente. Uma licença permissiva para conjuntos de dados significa que os compiladores não estão a impor-lhe restrições adicionais; não significa que o conteúdo lhes pertencesse para que pudessem reatribuir a licença.
A atribuição é um requisito, não uma cortesia. A ODC-BY é uma licença de atribuição. Se utilizar estes conjuntos de dados, atribua-lhes a autoria.
As opções de exclusão estão a tornar-se padrão e vale a pena respeitá-las. O processo de remoção do Stack e o formulário de informações pessoais da Dolma existem porque a publicação a esta escala cria obrigações. Utilizar um conjunto de dados significa herdar a versão que descarregou — por isso, descarregar novamente periodicamente é a forma como as remoções entram efetivamente em vigor na sua cópia.
Os dados pessoais têm o seu próprio regime. Os corpora à escala da Web contêm informações pessoais e, em jurisdições com legislação de proteção de dados, isso cria obrigações para si enquanto responsável pelo tratamento, independentemente de qualquer licença do conjunto de dados. «Estava num conjunto de dados público» não constitui uma base legal.
E o ambiente jurídico ainda está em aberto. A questão de saber se o treino com material protegido por direitos de autor é permitido, e em que condições, é objeto de litígios ativos em várias jurisdições. Na UE, o quadro regulamentar relativo à mineração de texto e de dados contempla reservas de direitos legíveis por máquina, e os mecanismos para as expressar ainda estão a ser definidos. Qualquer pessoa que esteja a desenvolver um produto nesta área deve acompanhar a evolução da situação, em vez de partir do princípio de que a posição atual é definitiva.
Avaliar um conjunto de dados antes de o utilizar
Um corpus não é uma «caixa preta», e meia hora de análise antes de alocar recursos de armazenamento e computação dir-lhe-á mais do que qualquer resumo de ficha técnica de um modelo.
Selecione uma amostra e leia. Escolha algumas centenas de documentos ao acaso e leia-os efetivamente. Isto pode parecer pouco sério, mas é a ação mais informativa que pode realizar. Em poucos minutos, descobrirá se a remoção de texto padrão funcionou, qual a quantidade de texto traduzido automaticamente presente e se a variedade de domínios corresponde ao que a descrição afirma.
Verifique a distribuição linguística em relação às suas necessidades. Um corpus descrito como multilingue pode ser 90% em inglês com uma cauda longa, o que é adequado se pretender inglês, mas inútil se pretender português. Quando forem fornecidos indicadores de qualidade, como uma pontuação linguística — o FineWeb inclui um —, utilize-os em vez de confiar apenas no título.
Meça você mesmo a duplicação. Mesmo os corpora deduplicados contêm quase-duplicados, e a taxa varia consoante a fonte. Calcule o hash de uma amostra e conte as colisões; se a taxa for elevada, está a treinar com o mesmo conteúdo repetidamente e o seu conjunto de dados efetivo é menor do que a contagem de tokens sugere.
Verifique a data-limite. Todos os corpora têm uma, e esta determina o que o modelo resultante não pode saber. Os rastreios do FineWeb vão até meados de 2025; qualquer coisa mais recente está ausente. Para um domínio que evolui rapidamente, isto pode ser desqualificante, independentemente de tudo o resto.
Procure por contaminação no seu conjunto de avaliação. Se as perguntas e respostas de referência aparecerem no corpus de treino, a sua avaliação estará a medir a memorização. Isto é comum, é fácil de verificar com uma pesquisa de subcadeias numa amostra e invalida os resultados de uma forma que é embaraçosa de descobrir após a publicação.
E verifique os custos de armazenamento e largura de banda antes de fazer o download. O Stack v2 tem 67,53 TB sem compressão. Os downloads de vários terabytes acarretam custos reais em termos de transferência, armazenamento e tempo, e fazer o streaming de um subconjunto diretamente a partir do armazenamento de objetos é frequentemente uma opção melhor do que descarregar tudo para depois descobrir que só precisava de um décimo disso.
Será que precisa mesmo de um conjunto de dados de treino?
A pergunta que vale a pena fazer antes de qualquer uma das etapas acima.
Para pré-treinar um modelo a partir do zero, sim — e isto é um empreendimento à escala de investigação. São necessárias centenas de milhares de horas de GPU, uma equipa com experiência prévia e uma razão pela qual um modelo de pesos abertos já existente não servirá. Muito poucas organizações se encontram nesta posição, e as que se encontram já o sabem.
Para o ajuste fino, é necessário algo totalmente diferente: um conjunto de dados modesto, de alta qualidade e específico para a tarefa. Milhares de exemplos em vez de triliões de tokens, e o trabalho reside na curadoria e não na escala. Nenhum dos corpora acima é a entrada adequada.
Para a recuperação, precisa dos seus próprios documentos indexados, e não de um corpus de treino. É este o caso de uma enorme parte das solicitações do tipo «precisamos de dados de treino», e a resposta passa por um índice vetorial sobre o conteúdo que já possui.
Para avaliação, precisa de um conjunto de teste representativo da sua tarefa real, construído manualmente e de pequena dimensão.
O tipo de falha que esta secção pretende evitar é o download de um corpus de vários terabytes para um problema que precisava apenas de duzentos exemplos selecionados. Isso acontece, e o esforço desperdiçado é considerável.
Criar o seu próprio, sinceramente
Se já determinou que precisa de dados de domínio que ninguém publicou, eis o que isso implica na prática — e onde o nosso próprio produto se enquadra.
A recolha é a parte fácil e a mais pequena. Obter páginas é um problema já resolvido. Sempre que possível, opte por vias autorizadas: APIs, exportações em massa, feeds de parceiros, arquivos existentes. O rastreamento é o último recurso, não o primeiro passo, e acarreta obrigações — robots.txt, termos de serviço, direitos de autor, direitos sobre bases de dados e legislação de proteção de dados quando estão envolvidos dados pessoais.
A limpeza representa a maior parte do trabalho. Remoção de texto padrão, identificação de idioma, filtragem de qualidade, deteção de quase-duplicados em grande escala, deteção e remoção de informações pessoais. Os corpora publicados representam um enorme esforço neste contexto, e vale a pena estudar o conjunto de ferramentas abertas da Dolma antes de criar o seu próprio — reutilizar um pipeline documentado é muito melhor do que reinventar um de forma inadequada.
A deduplicação merece especial atenção. As quase-duplicatas prejudicam o treino e inflacionam o volume aparente de dados. Fazer isso corretamente em grande escala requer o MinHash ou uma técnica semelhante, e é a etapa mais suscetível de ser ignorada e mais provável de ter impacto.
A documentação não é opcional. Registe por que razão o conjunto de dados existe, o que contém, como e quando foi recolhido, o que falta e para que não deve ser utilizado. Esta é a diferença entre um ativo e um passivo, e é quase impossível reconstruir esta informação posteriormente.
Onde entram os proxies: na recolha em grande volume a partir de muitas fontes, ou quando o conteúdo difere consoante a região. A largura de banda do centro de dados é a opção padrão sensata — a nossa começa nos 0,14 $/GB —, recorrendo à largura de banda residencial a partir de 0,79 $/GB apenas quando for comprovadamente necessário, conforme a nossa página de preços, consultada em setembro de 2026.
E onde não se aplicam: se os dados de que necessita se encontram num corpus publicado, comprar largura de banda para os recriar é simplesmente um desperdício. Verifique primeiro. Os corpora acima abrangem uma área enorme, e o trabalho de filtragem neles incorporado vale mais do que o texto bruto.
Perguntas frequentes
Que conjuntos de dados são utilizados para treinar os LLMs?
A maioria dos modelos abertos é treinada com corpora da Web derivados do Common Crawl — o FineWeb e o Dolma são as referências atuais — combinados com código do The Stack, artigos académicos, livros e conteúdos enciclopédicos. O Dolma identifica as suas fontes individualmente, o que é invulgar e útil.
O Common Crawl é de utilização gratuita?
Os dados estão acessíveis gratuitamente no AWS S3 e via HTTP, sendo permitido o acesso anónimo. Publica os formatos WARC, WAT e WET, e aplicam-se os seus termos de utilização. Note-se que o acesso gratuito a um arquivo da Web não resolve a questão dos direitos de autor das páginas nele contidas.
Sob que licença se encontram os principais conjuntos de dados de LLM?
O FineWeb e o Dolma estão sob a licença ODC-BY, a licença de Atribuição da Open Data Commons. O Dolma afirma explicitamente que os utilizadores também estão vinculados às licenças originais das fontes constituintes — a licença de compilação não se sobrepõe aos direitos de autor dos documentos subjacentes.
Posso remover os meus dados de um conjunto de dados de treino?
Por vezes. O Stack v2 disponibiliza uma ferramenta «Am I In The Stack?» e um processo de remoção documentado, sendo atualizado para dar seguimento a pedidos de remoção validados. O Dolma disponibiliza um formulário para comunicar documentos que contenham informações pessoais. Os mecanismos variam consoante o conjunto de dados e não são universais.
Qual é a dimensão dos conjuntos de dados de treino de LLM?
O Dolma tem 3 biliões de tokens distribuídos por 2,532 mil milhões de documentos. O FineWeb contém 25,9 mil milhões de linhas que abrangem o Common Crawl de 2013 a 2025. O Stack v2 tem 3,28 mil milhões de ficheiros, num total de 67,53 TB não comprimidos, abrangendo 658 linguagens de programação.
Preciso de um conjunto de dados de treino para ajustar um modelo?
Não — é necessário um conjunto de dados pequeno, de alta qualidade e específico para a tarefa, normalmente com milhares de exemplos em vez de triliões de tokens. Os grandes corpora de pré-treino são uma entrada totalmente inadequada, e o trabalho de afinação reside na curadoria e não na escala.
Devo criar o meu próprio conjunto de dados de treino?
Apenas para dados de domínio que ninguém tenha publicado. Os corpora públicos representam um enorme esforço de filtragem e deduplicação que é difícil de reproduzir, e a maioria dos requisitos rotulados como «dados de treino» acabam por ser problemas de recuperação ou de afinação que exigem muito menos. Verifique primeiro os corpora existentes.
Qual é a parte mais difícil de criar um conjunto de dados?
A limpeza e a deduplicação, não a recolha. A remoção de texto padrão, a identificação da língua, a filtragem de qualidade, a deteção de quase-duplicados em grande escala e o tratamento de informações pessoais representam quase todo o esforço. Vale a pena estudar o kit de ferramentas Dolma, de código aberto, da Allen AI antes de criar o seu próprio fluxo de trabalho.
Conclusão
Os conjuntos de dados públicos de LLM constituem um recurso notável: triliões de tokens, filtragem documentada, licenças de compilação permissivas e, nos melhores casos, ferramentas abertas e mecanismos de exclusão que funcionam. O FineWeb para texto da Web, o Dolma para uma mistura documentada, o The Stack v2 para código, todos construídos com base no Common Crawl ou no Software Heritage.
Há dois aspetos importantes a reter sobre a sua utilização. A licença de compilação não é a licença de conteúdo — o Dolma afirma-o diretamente e isso aplica-se a todos eles —, pelo que uma licença permissiva do conjunto de dados é o ponto de partida da sua análise jurídica, e não o ponto final. E os mecanismos de exclusão só funcionam se voltar a descarregar os dados, uma vez que a sua cópia descarregada fica congelada no momento em que a obteve.
A conclusão mais útil diz respeito ao âmbito. A maioria dos requisitos descritos como necessitando de dados de treino acabam por ser problemas de recuperação, resolvidos através da indexação de documentos que já possui, ou problemas de afinação, resolvidos com alguns milhares de exemplos cuidadosamente selecionados. Ambos são muito menores e muito mais fáceis de gerir do que qualquer coisa nesta página.
E se realmente precisar de recolher dados que ninguém publicou, a recolha é a parte fácil. A filtragem, a deduplicação e a documentação são que dão trabalho — e é exatamente por isso que os corpora publicados valem muito mais do que o texto bruto que contêm.