定義
Common Crawlとは、インターネット上のWebページを定期的に大規模収集し、誰でも無料で利用できる形で公開しているアーカイブデータおよびその非営利団体のことである。
Common Crawl (Web大規模コーパス)とは（詳しく解説）
Common Crawlは2008年から運営される非営利団体で、Webクローラーが収集した数十億ページ規模のHTML・テキストデータを毎月無料で公開しており、GPT-3をはじめ多くの大規模言語モデルの事前学習コーパスの主要な構成要素として使われてきたとされる。2026年時点の実運用では、生データはノイズ・重複・低品質サイト・スパムを大量に含むため、そのまま学習に使うことは少なく、C4やRefinedWeb、FineWebのようにフィルタリング・重複排除・言語判定を経て精製したサブセットを使うのが現場での一般的な選び方とされる。AWS S3上でホストされているため取得自体は無料だが、数十TB〜PB級のデータを自前でダウンロード・前処理するには相応のストレージ費用と計算コストがかかる点はコスト感として見落とされやすい。そのため個人や小規模チームでは、生のWARC/WETファイルに直接手を出すより、既に精製済みの公開コーパスを利用する選択が現実的とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「Common Crawl (Web大規模コーパス)とは」 https://aipicks.jp/glossary/common-crawl
Common Crawl (Web大規模コーパス)の使用例
- GPT-3の事前学習データセットにはCommon Crawlから抽出したWebテキストが含まれていたとされる。
- 自社LLMを一から事前学習する際、Common CrawlベースのFineWebのような精製済みコーパスを使う選択肢がある。
