Common Crawl ist eine 2007 gegründete gemeinnützige Organisation, die das Web systematisch durchsucht und die entstehenden Archive und Datensätze kostenlos veröffentlicht. Der seit 2008 laufend gesammelte Bestand umfasst mittlerweile mehr als zehn Petabyte und ist zur wichtigsten einzelnen Trainingsdatenquelle großer Sprachmodelle geworden.
Zusammenfassung
Gil Elbaz gründete Common Crawl mit dem Ziel, umfangreiche Web-Crawl-Daten auch Forschenden zugänglich zu machen, die sich keine eigene Crawling-Infrastruktur leisten können. Elbaz hatte zuvor Applied Semantics mitgegründet, das 2003 von Google übernommen wurde und dessen Technologie in Google AdSense einfloss.
Begriffsgeschichte
Bis in die 2020er-Jahre nutzten überwiegend Forschende und einzelne Start-ups den Datensatz. Mit dem Aufstieg großer Sprachmodelle begannen KI-Unternehmen, Common Crawl in großem Maßstab als Trainingsdatenquelle einzusetzen – der Datensatz wird inzwischen in über 12.000 Forschungsarbeiten zitiert (Common Crawl Foundation 2026).
Common Crawl ist Mitglied des International Internet Preservation Consortium und Partner des End of Term Web Archive, das US-Bundesbehörden-Websites bei Regierungswechseln archiviert.
Anwendungsfelder
Sprachmodelle wie GPT-3 wurden maßgeblich auf gefilterten Teilmengen von Common Crawl trainiert; das Foundation-Models-Paradigma insgesamt stützt sich in weiten Teilen auf den Datensatz als Basis für Vortraining.
Kontroversen und Kritik
Der Datensatz steht im Zentrum der Debatte um Urheberrecht und KI-Training, da er urheberrechtlich geschützte Inhalte in großem Umfang ohne gesonderte Zustimmung der Rechteinhaber:innen erfasst. Untersuchungen weisen zudem auf erhebliche Qualitätsschwankungen, Verzerrungen und die ungleiche Repräsentation von Sprachen und Weltregionen im rohen Datensatz hin, die aufwendige Filterung vor dem Training notwendig machen.
Verwandte Begriffe
- Trainingsdaten – der übergeordnete Begriff, dessen wichtigste Einzelquelle Common Crawl ist
- Foundation Models – Modellklasse, deren Vortraining sich maßgeblich auf Common-Crawl-Daten stützt
- GPT-3 – prominentes Beispiel eines Sprachmodells mit Common Crawl als zentraler Trainingsdatenquelle
Quellenangaben
- Common Crawl Foundation, 2026. About. commoncrawl.org.
- Mozilla Foundation, 2024. Training Data for the Price of a Sandwich: Common Crawl’s Impact on Generative AI. mozillafoundation.org.