日本語大規模言語モデルの学習でよく使われているデータセットmC4を確認してみる
主要な日本語大規模言語モデルの学習でよく使われているデータセットmc4。
これをダウンロードして確認してみました。
mC4とは
mC4は、"Multilingual Colossal, Cleaned version of Common Crawl"の略で、Common Crawlデータを基に作成された多言語の大規模なテキストデータセットです。Common Crawlはインターネット上のウェブページを広範囲にわたってクロールして収集したアーカイブであり、この巨大なデータセットは、自然言語処理（NLP）の研究や機械学習モデルの訓練に広く使用されています。
mC4は特に、Common Crawlのデータをクリーニングして、言語学的な多様性と質の高いテキストデータを提供することに焦点を当てたデータセットです。このデータセットは、100以上の言語にわたるテキストデータを含んでおり、世界中の多様な言語でのNLPの研究やアプリケーションの開発を支援することを目的としています。
mC4データセットは、特にトランスフォーマー型モデル（例えば、BERT、GPTなど）の事前学習に適しています。これらのモデルは大量のテキストデータを必要とし、mC4はその需要を満たすために設計されています。データセットは非常に大規模であるため、言語モデルの学習において豊富なコンテキストと例を提供し、結果として、より汎用的で強力なモデルの開発を可能にします。
mC4は、Hugging Faceのデータセットライブラリを通じて利用可能で、さまざまな言語でのNLPタスクや多言語モデルの訓練に広く使用されています。
データセットを読み込むソースコード
読み込みのコア部分は次の１行だけ。
dataset = load_dataset('mc4', 'ja', cache_dir="/Volumes/DataSets/DataSets", split='train')ダウンロード時間
約9時間
データ容量
2024-02-18にダウンロードしたデータです。
downloads(316.49GB)：huggingfaceからダウンロードしてきた(圧縮された)ファイルが保存されるディレクトリ
mc4(831.01GB)：データセットとして読み込み可能な形式に変更されたファイルが保存されるディレクトリ
合計1.16TB
Pythonインタプリタでデータの確認
trainデータの確認
% python
Python 3.11.6 (main, Oct 2 2023, 13:45:54) [Clang 15.0.0 (clang-1500.0.40.1)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from datasets import load_dataset
>>> dataset = load_dataset('mc4', 'ja', cache_dir="/Volumes/DataSets/DataSets", split='train')
/Users/uchida0masatoshi/PythonProjects/DataSetsScripts/myenv/lib/python3.11/site-packages/datasets/load.py:1454: FutureWarning: The repository for mc4 contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at https://hf.co/datasets/mc4
You can avoid this message in future by passing the argument `trust_remote_code=True`.
Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
warnings.warn(
Loading dataset shards: 100%|█████████████████████████████████████████████████████████████| 1645/1645 [05:26<00:00, 5.04it/s]
>>>
>>> dataset
Dataset({
features: ['text', 'timestamp', 'url'],
num_rows: 87337884
})mc4の日本語、trainデータを読み込み。
87337884個。
>>> dataset[0]
{'text': '生八つ橋のタグまとめ | エキサイトブログ\n生八つ橋のタグまとめ\n「生八つ橋」のタグがついている新着記事と人気記事をまとめました。エキサイトブログには生八つ橋に関連するブログ（日記、記録、写真、レビュー、噂、まとめ）がたくさん投稿されています。\n「生八つ橋」タグの記事（4）\n生八つ橋いろいろ\n京都旅行のお土産(我が家用)に色々な生八つ橋を買ってきました。我が家はみんな八つ橋ファンなのです～。地元の方達や京都を案内してくれたYさんは「八つ橋なんてもう何年も食べたことないわ～～～」と仰っていましたが、いやいや、美味しいですよ～～！！私は大好きです！まぁ確かに私は東京出身ですが、雷おこしや人形焼きは食べませんからね～。それと同じことでしょうか＾＾；とはいえ、舟和の芋ようかんや東京ばな奈...\n2020/03/06 23:54 - ＮＹの小さな灯り\u3000～ヘアメイク日記～\n黒糖きな粉\n冬限定の生八つ橋「ふゆおたべ」\n日本から戻る時に大抵空港で生八つ橋か信玄餅のどちらかを必ず買って帰ってくるのですが、今回は珍しいバージョンを見かけたので生八つ橋を買う事にしました。それがこちら、冬限定の生八つ橋「ふゆおたべ」です。切り絵のデザインも素敵ですよね＾＾お味は黒豆と栗きんとんの二種類。おせち料理みたいです～♪栗きんとんは元々味がそんなに個性的でない事もあり、あまりよく分からなかったのですが（ふんわり甘くて美味しい...\n2019/03/06 00:30 - ＮＹの小さな灯り\u3000～ヘアメイク日記～\n【株式会社 美十】ショコラこたべ\n日帰り京都旅行、あまり時間がなかったのでお土産はすべて京都駅周辺で済ませてしまいました。が、数年ぶりに訪れた京都ではお土産にも大きな変化が…！代表的な京都土産のひとつ、生八つ橋ってあのニッキの味わいがなんか苦手…っていう方も多いと思うんですけど、今はそういう定番以外にもイマドキ風な生八つ橋がすごくいっぱいあって驚きました！いろんなメーカーがあると思うんですけど、「おたべ」で知られている株式会...\n2018/01/28 21:07 - 岐阜うまうま日記（旧：池袋うまうま...\n大学生の孫が、部活の全国へ大会で、京都へ４日間行ってきたそうです。おみやげに、おたべとお茶を買ってきました。来年は、福井県だそうです。まぁ！アルバイトをしているからいいけれど、交通費がかかりそう！！私は八十八を見て、てっきり八つ橋かと思って開けて見たらお茶でした。ちゃんと、考えて買ってきたのでした。我が家の飲んでいるお茶は、賄い茶、たくさん飲むので、これで十分です。孫のおみやげのお茶は、細く...\n2016/08/16 17:37 - みすずのつぶやき', 'timestamp': '2020-05-27T07:31:25Z', 'url': 'https://www.exblog.jp/tag/keyword/%E7%94%9F%E5%85%AB%E3%81%A4%E6%A9%8B/'}一番最初のデータ。どうやらエキサイトブログのスクレイピングデータ。
>>> dataset[87337883]
{'text': 'Search Twitter - #minneで販売中\nティヤムの魔法堂\u3000魔女子さん\n@tiammahodo\n🌸暑い日が続きますが、皆さまお身体に気をつけてお過ごしください。 『ティヤムの魔法堂』アクセスランキングをお知らせします🦋 minne、1位〜4位です✨ 1位は、《幻想赤色》金魚の耳飾りでした♪上位は夏らしく涼しげなアクセサリーが人気のようです🥰 minne.com/@tiam-mahodo #minneで販売中 pic.twitter.com/vnseGtEdQp\nmeeeeeg♡*°\n@Rolling_sho0125\nTwinkle Rainbow＊ #minne #minneで販売中 #ハンドメイド minne.com/@sakmegu\n❦-La Petite Poucette-❦\n@la_poucette_22\n【BLACK Sugar BONBON】 今日の #日替り BABYSHOES👟 インテリアにも可愛い♡ ポップで元気なビタミンカラー 揃ってます|• ∀•๑) ▼PAIN🍍COKE▼ minne.com/items/24082289 🐣０歳から #ベビーシューズ #LaPetitePoucette #Baby #新作 #出産祝い #babyshower #handmadegifts #minne #minneで販売中 pic.twitter.com/qANcPUakxd\n@cherie_037\nInc Art Hexagon Tile -斑- (ピアス/イヤリング) #minne #minneで販売中 #レジン #アルコールインクアート minne.com/items/24130956 pic.twitter.com/gGNHOi7cIK\n@k_yumita\n8/8(土)〜8/10(月)まで minneさんではじまる朝クーポンにあわせて在庫追加しました。 人気のクリームソーダやアイスクリームもupしてます✨ ぜひのぞいてみてくださいね😊🌸 ◇minne.com/@yumita-k #フェイクスイーツ #minne #minneで販売中 pic.twitter.com/1oWqVude5w\nonorin水彩画描いてます\n@onorin12\nONORIN57\'S GALLERY #minne minne.com/@onorin57 #minneで販売中 #水彩画 #イラスト\n海嶌あありすけ@BOOTH,minne\n@aliceke93\n【minneクーポン】 8:00〜12:59の朝限定で 8/8(土) 3,500円以上で500円割 8/9(日) 2,000円以上で300円割 8/10(月) 3,500円以上で500円割とのことです☀️ 雑貨や画集もありますのでぜひご覧ください minne.com/@aliceke93 #minne #minneで販売中 pic.twitter.com/Xghp7clgW2\nchappy@花纏-はなまとい-！プレゼント企画中！\n@chappyf2\n#花の日 #花の日なので花の作品をﾌﾞﾜｱｱって載せる わーい、花の日！ 本物のお花と樹脂でアクセサリーを作ってます💕 #minneで販売中 pic.twitter.com/et8FT9ybfi\n今日の #日替り #BABYSHOES 👟 ♥️ベビー人気の マリンカラーシューズ🐳 ベビちゃん待ちに🕊 幸せ呼込むディスプレイにも 【 MARINE🐚STYLE】 NAVY×Red▼展示/販売はコチラ 🌐minne.com/items/24082445 🐥０歳から #ベビーシューズ #LaPetitePoucette #Baby #新作 #出産祝い #minne #minneで販売中 pic.twitter.com/vFLtJsd8wR\nカビゴンかあさん#通知不調💦\n@nyankiti035\n本日出品しました✨ カラフルなメキシカンドビーの斜めがけバック、男性にも女性にもお使い頂けるバッグです(*´∇`)ﾉ #minneで販売中 minne.com/items/24212833\n今ならブランドステッカープレゼント😉👍 Candy&Spice,Street.の人気作品はこちら！ シルバー925 リボルバー ペンダントトップ☆ Pt-51 minne.com/items/12384620… #minneの人気作品 #シルバーアクセサリー #minne_fav #minne #minneで販売中 pic.twitter.com/odVEkjIIcx\n@CrossingNatural\n今日は比較的涼しい朝です💙 静かな連休になりそうですが、みなさん安全に少しでも楽しく過ごせますように✨ チェコビーズとカボションカットパール、そしてさり気なくレースフラワーを使ったミニクリップ作って見ました🌼落ち着いた雰囲気です☺️ #minneで販売中 #ハンドメイド好きと繋がりたい pic.twitter.com/8Kwr4cEKOU\nHa＊Pi\n@ha_chan109\nエスニック ネイティブシリーズ🏝 この中に新作あります♡ 1cmサイズのまん丸ホワイトです 新作は明日のお昼頃にminneで販売予定です(*´꒳`*) minne.com/harupi0904 #ハンドメイド #ハンドメイド好きさんと繋がりたい #minne #minneで販売中 #夏アクセサリー #ピアス #イヤリング pic.twitter.com/s7yo8hyliH\n"NUTS" BABY CASQUETTE ✼Natural NAVY✼ 木の実のコロッとキャスケット🐿 🧵優しいCottonベビーキャップです 🌐minne.com/items/24084350 ギャラリーへのアクセス お気に入り♥️ いつもありがとうございます🙏 #LaPetitePoucette #Baby #新作 #出産祝い #minne #minneで販売中 #minneとものづくりと twitter.com/la_poucette_22… pic.twitter.com/1x4cDSJaU2\nAunt Albus\'🍪えりか\n@kaeruchoco15\nおはようございます🎐 毎日暑いですがお元気ですか？ わたしはお盆せっせと働いております。そして気づいたら低浮上気味🍉🍉スイカ置いておきます minneは15日まで( •ω- )☆ minne.com/@aunt-albus #minneで販売中 #スイカ pic.twitter.com/AW1xNAKX2K\n09san\n@09san_handmade\nミモザ と鳥のピアスorイヤリング のお気に入り登録数が10回を超えました！ #minne_fav minne.com/items/22072678… ありがとうございます❤️ すごく嬉しいです😃 #ハンドメイド好きな人とつながりたい\u3000#レジン好きな人とつながりたい\u3000#minneで販売中\n【MARINE】Tricolore🇬🇦 今日の #日替わり BABYSHOES👟 🧵[YELLOW×NAVY]+Gray 🌐minne.com/items/24083031 １&ONLY 新しく産まれてきてくれた 大切な記念に🕊贈り物としても 大変喜ばれる #ベビーシューズ です #LaPetitePoucette #Baby #新作 #出産祝い #minneとものづくりと #minne #minneで販売中 pic.twitter.com/q5LWmIcvUe\nなのまっこ（minne通販中）\n@mademacco\nminneで販売中の作品紹介＊ Pasting Butterfly-標本蝶-【イヤリング】緑 気軽に着けて頂けるデザインの樹脂ノンホールピアス（イヤリング）です♪ 蝶々がペタっと耳に貼り付いてる感じをイメージしました！ ＼minne.com/@mademacco／ #minne #minneで販売中 #ハンドメイド pic.twitter.com/528sMJUYsN\n【Sugar🍬BONBON】 今日の #日替り BABY SHOES👟 可愛いだけじゃないんです ちゃんと履いて心地良い ファーストシューズを🧵꒰๑•௰•๑꒱ LEMON🍋SODA #Cotton 🌐minne.com/items/24082091 🐣０歳から #ベビーシューズ #LaPetitePoucette #Baby #新作 #出産祝い #babyshower #minne #minneで販売中 pic.twitter.com/LQ2eQMjNgv\nぐろりあ＊スローペース中\n@SolPapilio_Glra\n°･🐠information°･🐠 有言実行💪 minneの送料が8月末まで無料になります！ 気になる作品がある方はお早めにどうぞ🏃 minne.com/@solpapilio #minne #minneで販売中 pic.twitter.com/yHJZIAytQI', 'timestamp': '2020-08-11T04:57:04Z', 'url': 'https://mobile.twitter.com/hashtag/minne%E3%81%A7%E8%B2%A9%E5%A3%B2%E4%B8%AD?src=hash'}一番最後のデータ。モバツイのスクレイピングデータっぽい。
trainデータ、validationデータの確認
% python
Python 3.11.6 (main, Oct 2 2023, 13:45:54) [Clang 15.0.0 (clang-1500.0.40.1)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from datasets import load_dataset
>>> dataset = load_dataset('mc4', 'ja', cache_dir="/Volumes/DataSets/DataSets")
/Users/uchida0masatoshi/PythonProjects/DataSetsScripts/myenv/lib/python3.11/site-packages/datasets/load.py:1454: FutureWarning: The repository for mc4 contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at https://hf.co/datasets/mc4
You can avoid this message in future by passing the argument `trust_remote_code=True`.
Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
warnings.warn(
Loading dataset shards: 100%|█████████████████████████████████████████████████████████████| 1645/1645 [00:54<00:00, 30.33it/s]
>>> dataset
DatasetDict({
train: Dataset({
features: ['text', 'timestamp', 'url'],
num_rows: 87337884
})
validation: Dataset({
features: ['text', 'timestamp', 'url'],
num_rows: 87420
})
})split指定なしでmc4の日本語読み込み。
trainデータ87337884個とvalidationデータ87420個が読み込まれている。
>>> dataset['train'][0]
{'text': '生八つ橋のタグまとめ | エキサイトブログ\n生八つ橋のタグまとめ\n「生八つ橋」のタグがついている新着記事と人気記事をまとめました。エキサイトブログには生八つ橋に関連するブログ（日記、記録、写真、レビュー、噂、まとめ）がたくさん投稿されています。\n「生八つ橋」タグの記事（4）\n生八つ橋いろいろ\n京都旅行のお土産(我が家用)に色々な生八つ橋を買ってきました。我が家はみんな八つ橋ファンなのです～。地元の方達や京都を案内してくれたYさんは「八つ橋なんてもう何年も食べたことないわ～～～」と仰っていましたが、いやいや、美味しいですよ～～！！私は大好きです！まぁ確かに私は東京出身ですが、雷おこしや人形焼きは食べませんからね～。それと同じことでしょうか＾＾；とはいえ、舟和の芋ようかんや東京ばな奈...\n2020/03/06 23:54 - ＮＹの小さな灯り\u3000～ヘアメイク日記～\n黒糖きな粉\n冬限定の生八つ橋「ふゆおたべ」\n日本から戻る時に大抵空港で生八つ橋か信玄餅のどちらかを必ず買って帰ってくるのですが、今回は珍しいバージョンを見かけたので生八つ橋を買う事にしました。それがこちら、冬限定の生八つ橋「ふゆおたべ」です。切り絵のデザインも素敵ですよね＾＾お味は黒豆と栗きんとんの二種類。おせち料理みたいです～♪栗きんとんは元々味がそんなに個性的でない事もあり、あまりよく分からなかったのですが（ふんわり甘くて美味しい...\n2019/03/06 00:30 - ＮＹの小さな灯り\u3000～ヘアメイク日記～\n【株式会社 美十】ショコラこたべ\n日帰り京都旅行、あまり時間がなかったのでお土産はすべて京都駅周辺で済ませてしまいました。が、数年ぶりに訪れた京都ではお土産にも大きな変化が…！代表的な京都土産のひとつ、生八つ橋ってあのニッキの味わいがなんか苦手…っていう方も多いと思うんですけど、今はそういう定番以外にもイマドキ風な生八つ橋がすごくいっぱいあって驚きました！いろんなメーカーがあると思うんですけど、「おたべ」で知られている株式会...\n2018/01/28 21:07 - 岐阜うまうま日記（旧：池袋うまうま...\n大学生の孫が、部活の全国へ大会で、京都へ４日間行ってきたそうです。おみやげに、おたべとお茶を買ってきました。来年は、福井県だそうです。まぁ！アルバイトをしているからいいけれど、交通費がかかりそう！！私は八十八を見て、てっきり八つ橋かと思って開けて見たらお茶でした。ちゃんと、考えて買ってきたのでした。我が家の飲んでいるお茶は、賄い茶、たくさん飲むので、これで十分です。孫のおみやげのお茶は、細く...\n2016/08/16 17:37 - みすずのつぶやき', 'timestamp': '2020-05-27T07:31:25Z', 'url': 'https://www.exblog.jp/tag/keyword/%E7%94%9F%E5%85%AB%E3%81%A4%E6%A9%8B/'}trainの最初のデータ確認。split指定してるときと変わらずエキサイトブログ。
>>> dataset['validation'][0]
{'text': 'Best 25+ アドレス 帳 ideas on Pinterest | タイポグラフィーロゴ, タイポグラフィーフォント and ロゴタイプ\nアドレス 帳\nカーニング と は\n字体 フォント\n文字のロゴ\n絵のデザイン\nブランド 画像\nデザートのロゴ\nビーチのロゴ\nビーチの絵\nFlyer Design InspirationGraphic Design IllustrationNo TitleWeb DesignBannerIllustratorsTypographyPicture BannerLetterpressesForward\n2015手帳 paper blanks ペーパーブランクス ジェネシス ／ スリム ・paperblanks（ペーパーブランクス）/ カナダ ・約90×180ｍｍ ・紙 ・Designed by Canada／Made in China ■マンスリー：(2014.11～2016.1) 見開き1ヶ月 (ブロックスタイル) ■ウィークリー：(2014.12.29～2016.01.10) 見開き2週間(シェアフォーマット) ■カレンダー：見開き2年 (2015、2016)、年間プラン、罫線メモ（62ｐ）、パーソナルデータ、ギフトリスト、レストランリスト、ショッピングリスト、TO DOリスト ■別冊アドレスブック、スケジュールシール、スピン２本付き、ハードカバー\nColor PalettesWeb DesignColorsIllustrator TutorialsPhotoshop IllustratorIllustratorsIn Living ColorDesign WebColour SchemesForward\nIllustrator TutorialsAdobe IllustratorSign DesignWeb DesignTypo LogoTypographyLogo TypeIllustratorsFontsForward\nPamphlet DesignBooklet DesignMenu DesignDesign LayoutsBrochure DesignFlyer DesignLeaflet LayoutWeb LayoutPrint LayoutForward\nSign DesignBanner DesignWeb DesignTypography LogoFont LogoLogo TypeJapanese DesignDesign PostersDesign PackagingForward\n文字タッチツールで作る、ガーリーなカラフル版ずれ文字 | 鈴木メモ\nChinese Fonts DesignJapanese Graphic DesignTypo DesignTypographic DesignBrand DesignJapan LogoTypography LogoFont LogoLogo TypeForward\nfrom nozaki azusa\nPhotoshop IllustratorGraphic Design PostersWeb DesignLogo DesignTypography DesignStyle InspirationJapanese LogoIcon IllustrationsLogo TypeForward\nVintage Logo DesignVintage LogosJapanese LogoTypography LogoLogo BrandingFarm LogoJapan DesignLogo TypeGraphic Design IllustrationForward\nLogo TypeFont LogoPhotoshop IllustratorGraphic Design IllustrationIllustratorsFontsLogoTypes Of Font StylesIllustratorForward\n日本語フォントの角を丸くしてイメージを変えてみる | 鈴木メモ', 'timestamp': '2018-01-17T13:20:54Z', 'url': 'https://www.pinterest.jp/explore/%E3%82%A2%E3%83%89%E3%83%AC%E3%82%B9-%E5%B8%B3/'}validationの先頭のデータ。なんだろこれ。
>>> dataset['validation'][87419]
{'text': 'Occhioni a mandorla ワールドカップ、いよいよ開幕\nワールドカップ、いよいよ開幕\n本日、いよいよブラジルワールドカップ開幕！！昔は全くと言っていいほどサッカーには興味のなかった私・・・。それなのに夫と息子の影響で、今ではど～っぷりとサッカーに嵌っております。なんせ夜中の3時であろうと4時であろうと起きて試合見るぐらいだから・・・あ、ちなみにワタクシ、ＬＡＺＩＯですワールドカップでは、日本代表＋イタリア代表、それにＬＡＺＩＯ所属選手をメインに観戦予定。この他にも面白そうな試合はみたいなぁと試合日程をチェックしてはいるのですが、じ、じ、時差が～幸いにもイタリア＆日本の初戦は日本時間で日曜日の朝なので、ゆっくりと観れますが、そのあとの試合を観ようと思ったら、かなりキツイ・・・。ということで、ワールドカップ開催中は、かなり寝不足状態であることが予想されます。さあ、今日は早めに寝て、まずは開幕戦のブラジル\u3000vs\u3000クロアチアに備えなければ！！\n2014.06.12 | | コメント(0)\t| トラックバック(0)\t| 日々のこと\n« Che figura!! | ホーム | 行ってみたいな、ナイトツアー »\nhttp://nebichan.blog55.fc2.com/tb.php/1382-8fdbca6a', 'timestamp': '2017-06-24T20:51:16Z', 'url': 'http://nebichan.blog55.fc2.com/blog-entry-1382.html'}validationの一番最後のデータ。