10大類、142條數據源，中文NLP數據集線上搜索開放

機器之心報道

項目作者：CLUE benchmark

參與：思、杜偉

有了這個開源項目，再也不用擔心找不到好用的中文 NLP 數據集，142 條數據集，總有適合你的那一款。

中文 NLP 數據集搜索：https://www.cluebenchmarks.com/dataSet_search.html

在學習 NLP 的這條不歸路上，我們總會發現大多數先進演算法與優質示例代碼都是用英文數據集。而當我們滿懷希望地把模型遷移到中文世界時，缺少公開的優質數據集簡直就是天塹。比如說最簡單的語言模型與詞嵌入模型，只需要一段段自然的中文文本就行了，然而實際上我們會發現好用的公開大型語料真的很少。

我們需要在 GitHub 等平台上找收集中文 NLP 數據集的各種項目，再根據需求進行選擇。值得注意的是，很多國內中文數據集已經非常老了，它們的使用會比較麻煩，這時候就需要我們自行判斷與試錯了。

不過在本文中，我們將介紹一項新的中文 NLP 數據搜索項目，它可能是目前最全的中文 NLP 數據集信息收集項目。該項目收集了一百多條中文 NLP 數據信息，並以搜索的形式展示結果。我們只要鍵入關鍵詞，或者數據集所屬的領域等信息，就能找到對應的數據集。

每一條搜索結果都會展示數據集的基本信息、訪問鏈接等關鍵信息，能幫助我們快速篩選數據集。因為每一個領域都能找到非常多的同類數據集，因此這些簡述非常有意義。

如果讀者想看看到底有哪些數據集，可以直接查看該搜索項目的 GitHub 地址，所有數據集的信息都在上面。

這可能是最全的中文 NLP 數據集合

本項目中的 NLP 數據集囊括了 NER、QA、情感分析、文本分類、文本分配、文本摘要、機器翻譯、知識圖譜、語料庫以及閱讀理解等 10 大類共 142 個數據集。

具體而言，對於每一個數據集，項目作者都提供了數據集名稱、更新時間、數據集提供者、說明、關鍵字、類別以及論文地址等幾方面的信息。

項目地址：https://github.com/CLUEbenchmark/CLUEDatasetSearch

本項目中文 NLP 數據集分類。

但由於整個項目包含的數據集種類很多，機器之心只對其中的情感分析和文本分類數據集進行以下簡要介紹。

情感分析

作為自然語言處理（NLP）的一種常見應用，情感分析特別適用於以提取文本情感內容為目的的分類方法中。本項目中介紹了 11 個情感分析數據集來源，其中包括 NLPCC 2013/2014、Weibo Emotions Corpus、之江杯電商評論觀點挖掘大賽以及 2019 搜狐校園演算法大賽數據集。

項目中部分情感分析中文數據集詳情。

文本分類

作為自然語言處理中最常用和最基礎的應用，文本分類方面的數據集已經有很多。本項目中介紹了 19 個文本分類數據集來源，其中包括今日頭條中文新聞（文本）分類、THUCNews 中文文本分類、2017 知乎看山杯機器學習挑戰賽 以及中科大新聞分類語料庫等。

項目中部分文本分類數據集詳情。

最後，開發者也可以上傳數據集信息貢獻自己的力量，上傳 5 個（含）以上數據集信息即可在審核通過後成為本項目的貢獻者。目前似乎 142 個數據集已經很全了，但對於更多 NLP 子領域任務，還需要大家共同維護。