William’s Blog readings, ideas, feelings, photos, etc. by William Yeh

從 Google Research Blog 看到一則舊聞：“All Our N-gram are Belong to You”。以下是關於這份 n-gram 的數據：

• Number of tokens: 1,024,908,267,229
• Number of sentences: 95,119,665,584
• Number of unigrams: 13,588,391
• Number of bigrams: 314,843,401
• Number of trigrams: 977,069,902
• Number of 4-grams: 1,313,818,354
• Number of 5-grams: 1,176,470,663

乖乖，壓縮過後的資料，整整 24 GB，難怪要用 6 片 DVD 才裝得下。

他們釋出這些資料的原因是：

We believe that the entire research community can benefit from access to such massive amounts of data. It will advance the state of the art, it will focus research in the promising direction of large-scale, data-driven approaches, and it will allow all research groups, no matter how large or small their computing resources, to play together.

呃，中文資訊界也奮鬥了這麼多年了，怎麼都沒看到類似的資料釋出？

相關閱讀

• 微軟的 n-gram 資料

◤建議您一併閱讀以下文章：

• 微軟的 n-gram 資料
• 參與 COSCup 2006 的背景思考
• 「文件特徵自動擷取」專利迴避分析
• 「文章分類方法」專利迴避分析
• 文件分類 Data Set

著作授權方式：Creative Commons 條款。



追蹤留言回應：以 RSS 2.0 方式。
文章永久網址：
  » http://william.cswiz.org/blog/archives/2007-01-04/google-ngram/
引用通告 (trackback)：
  » http://william.cswiz.org/blog/archives/2007-01-04/google-ngram/trackback/


     
本站歡迎您以合乎創用CC 的方式，將文章選錄至網路書籤或社群網站，也別忘了將您寶貴的意見（尤其是延伸的評論、補充、彙整、反駁等）留言在本站。謝謝！