Categories
最新消息

最新任務型對話數據集大全


本文轉載自公眾號:AINLP

合適的數據集或者語料是優秀的自然語言研究工作的基礎,然而找尋合適的數據集通常是一件耗時耗力的工作。這時候一份優質的數據集匯總就能幫助科研人員,在研究開始的時候事半功倍。這篇文章就向你介紹一份優質的數據集匯總,幫助你的研究工作輕鬆選擇一片合適的用武之地。

本文主要介紹由我研究中心博士生侯宇泰收集整理的一個任務型對話數據集大全。

最新任務型對話數據集大全

圖1. 數據集匯總項目

這份數據集大全涵蓋了到目前在任務型對話領域的所有常用數據集的主要信息。此外,為了幫助研究者更好的把握領域進展的脈絡,我們以 大號棋盤的形式給出了幾個數據集上的State-of-the-art實驗結果。

數據集的地址如下:

https://github.com/AtmaHou/Task-Oriented-Dialogue-Dataset-Survey

一.背景介紹:什麼是任務型對話

我們收集的數據集主要針對任務型對話研究(Task-oriented Dialogue)。

任務型對話系統指在特定的情境下幫助用戶完成特定任務的對話服務系統,例如幫助用戶訂餐、訂酒店的對話系統。近年來,隨著亞馬遜Alex,微軟小娜,蘋果Siri等個人語音助理業務的興起,基於對話的人機交互方式得到了廣泛的關注,相關的研究也越來越多,儼然成為一個富有潛力的研究方向。

最新任務型對話數據集大全

圖2. 語音助手

目前任務型對話的研究可以大體分為兩類:基於流程的任務型對話(Pipeline)以及端到端的任務型對話(End-to-End)。

基於流程的任務型對話是相對較為傳統的方法。這種任務型對話的系統通過一套Pipeline流程實現。如圖3所示, 任務型對話系統的流程依次包括:自然語言理解、對話狀態跟蹤、對話策略學習,自然語言生成模塊。具體的,用戶輸入自然語言,對話系統按流程依次完成:分析用戶意圖,更新對話狀態,根據對話策略做出動作,生成最終的自然語言回復。

最新任務型對話數據集大全

圖3. Pipeline任務型對話

然而,Pipeline流程式的對話系統存在錯誤級聯和標註開銷大的問題,為此最近有一部分研究嘗試通過直接進行端到端的任務型對話學習來規避這些問題。端到端式對話系統根據用戶輸入句子直接給出自然語言回復。

二.為什麼要做數據集匯總?

任務型對話任務並不是新課題,但是針對任務型對話的廣泛研究在最近幾年才興起。任務型對話研究的方興未艾反映在數據和語料上,就是目前現有的任務型對話數據集數量少,且其他成熟的任務已有的數據集在數據量上要少的多。在這種情況下,儘可能多找到並有效的利用已有的數據資源就成為開展研究的關鍵之一。然而,搜羅並全面的尋找合適的數據集是一個費時費力的工作,所以整理統計目前已有的任務型對話領域的數據集的信息是有必要的,可以極大地為相關研究工作提供便利,讓研究工作得以地快速開始。

除了數據本身的信息有價值之外,在重要數據集上的實驗結果提升過程,可以很大程度上反映自然語言研究的前進脈絡。所以,簡單的數據集信息羅列並不能讓我們滿意,我們還計劃提供一些常用數據上的實驗結果和對應論文的信息。從而幫助研究人員了解和把握任務型對話領域研究的推進脈絡。我們選擇以Leaderboard的形式呈現數據集上的部分實驗結果。

三.數據匯總的內容介紹

1.數據集信息

針對每個數據集,我們統計並總結了如下幾個方面的內容。

表1. 數據集內容及說明

內容說明名稱數據集名稱介紹數據集簡介鏈接(下載和論文)數據下載鏈接和對應論文的鏈接多轉或單轉對話數據是多輪還是單輪任務對話數據是否為任務型對話任務細節對話數據取自什麼應用情景,如訂餐,導航等是否公眾可訪問是否可以免費下載大小和統計數據量、標註量統計隨附標籤數據包括的標註類型標籤缺失數據缺失的標註類型

類似其他常見數據集匯總工作,我們為每個數據集提供了名稱,下載鏈接,簡介,數據量等信息。除了這些基本信息,我們還涵蓋了一些任務型對話數據的特有的研究內容,例如:

  • Multi or single turn:對話數據是多輪還是單輪是任務型對話數據的重要屬性,單輪對話數據往往用於自然語言理解任務,多輪對話數據往往用於端到端任務、對話策略學習、對話狀態跟蹤。
  • Task detail:數據適用於什麼應用情景也是一個獨特的關鍵信息,通過這個信息,研究者可以快速理解數據,開展Multi-domain 或Domain-transfer研究。

2. 實驗結果Leaderboard

對於一些研究常用數據,我們提供了上面的一些State-of-the-art實驗結果,並以Leaderboard的形式呈現,具體包括內容如下:

表2. Leaderboard內容及說明

內容說明模型模型的名稱得分主要實驗結果,F1分數,準確率等紙張來源模型對應論文的名稱和鏈接其中我們的模型名稱採用出處論文中的表述,分數的評價指標以具體的任務而定。實驗結果列表配合上論文鏈接,可以讓讀者快速地了解一個任務。

此項信息內容仍在完善中。

四.數據集匯總內容樣例

1. 數據集介紹樣例

數據集的匯總目前以表格的形式,收錄了17個數據的細節信息。讀者可以在github項目中Excel文件或者Readme中直接查看。數據的格式如圖4所示。

最新任務型對話數據集大全

圖4. 數據細節樣例

2. Leaderboard 樣例

最新任務型對話數據集大全

圖5. Leaderboard的樣例

五.關於內容補充的邀請

我們歡迎各種形式的內容完善,包括但不限於:

  • 直接提交Pull Request
  • 向我們發送新數據
  • 向我們發送新的實驗結果(已發表論文)

六. 其他

數據集匯總地址如下:

https://github.com/AtmaHou/Task-Oriented-Dialogue-Dataset-Survey

聯繫信息:

[email protected]

本期責編:公子小白