將因果關係估計引入推薦系統、提升推薦模型效果,快手新研究被WWW22接收


機器之心專欄

機器之心編輯部

本文中,研究者提出了一個基於工具變數的模型無關的因果學習框架IV4Rec,從而利用搜尋資料輔助推薦模型。該框架將搜尋的query 作為IVs 來將推薦系統中的embedding 分解為因果和非因果的部分,再將它們聯合起來探索不同機制對於推薦結果的影響。此外,IV4Rec 將傳統的IVs 的方法和深度學習結合,提供了一個端到端的框架來學習模型的引數。研究者在快手短影片資料集和公開資料集MIND 上的實驗驗證了該框架的有效性。

基於機器學習的推薦系統逐漸成為幫助人們自動過濾資訊、發掘興趣的主要方式。現有模型通常使用embedding 來表示推薦系統中豐富的資訊,比如物品、使用者和上下文資訊。從因果分析的角度來看,這些向量和使用者最終的反饋(比如點選、點贊、轉發等)之間的關係是由因果關係和非因果關係混雜在一起組成的。

因果關係是反應物品被使用者偏好的原因,非因果關係僅僅反應使用者和物品之間的統計依賴關係,比如曝光模式、公眾觀念、展示位置等。然而現有推薦演算法大部分都忽略了因果關係和非因果關係之間的不同之處。

在這篇文章中,快手和人大的研究者提出了一個模型無關的因果學習框架,該框架被稱作IV4Rec,用來有效地分離出這兩種關係,從而加強推薦模型的效果。更確切地說,研究者聯合考慮了搜尋場景和推薦場景下的使用者行為。透過借鑑因果推斷中的概念,他們將使用者的搜尋行為作為工具變數(Instrumental variables, IVs),來幫助分解原本推薦中embedding,即treatments。然後使用深度神經網路將分離的兩個部分結合起來,用結合後的結果來完成推薦任務。

論文連結:https://arxiv.org/abs/2202.04514

IV4Rec 是一個模型無關的框架,它可以應用到眾多推薦模型中,比如NRHUB 和DIN。在公開資料集MIND 和快手短影片資料集上的實驗結果表明,IV4Rec 可以有效地提升推薦模型的效果,該技術已經申請中國發明專利

一、背景和動機

現實生活中,搜尋和推薦已經成為幫助使用者在網際網路上獲取資訊的兩種主要方式。傳統的情況下,推薦模型和搜尋模型會被部署成為兩個不同的系統,服務於不同使用者的不同資訊需求。

但近些年來,許多線上內容平臺在同一個平臺上同時提供搜尋和推薦服務。當有了多種使用者行為後,這兩種服務可以透過它們共同的使用者和物品子集聯絡起來。這種現象給我們提供了一個機會:用一種服務的資料去提升另一種服務的效果。

圖表1:同一個平臺中的搜尋和推薦服務

現有的工作已經意識到搜尋和推薦可以聯合進行最佳化。 Garcia-Molina 等人指出搜尋和推薦是一個硬幣的不同兩面(two sides of the same coin)。這兩種服務有許多相似和聯絡。近來有一些工作致力於同時最佳化搜尋和推薦模型從而同時提升它們的準確度,比如聯合建模和最佳化搜尋與推薦(JSR)。一個叫做USER 的演算法聯合探索和利用搜尋和推薦行為,並同時發掘使用者在這兩種場景下的興趣。

除此之外還有不少工作在使用一種服務的資料來輔助另一種服務的模型,比如ZSL-TE 是一個使用zero-shot 的將推薦系統中知識遷移到搜尋模型中的遷移學習框架。然而,現有的搜尋推薦聯合框架,都沒有考慮到使用者的搜尋行為和推薦場景下的瀏覽行為之間的因果關係。

現有的推薦系統模型通常是使用使用者和系統的歷史互動資料進行訓練,並且假定每一條日誌資料(u, i, c) 都能夠無偏地反應出user u 對於item i 的的偏好。但在現實世界中,使用者與系統的互動資料通常是被需要混淆因素(confounder)影響,比如position bias、selection bias 和popularity bias 等等。從因果推斷的角度來說,我們將user 和item 的embedding 當作treatment(簡稱T),將使用者的反饋(比如:click)看作outcome(簡稱Y)。因為confounder 的存在,treatment 到outcome 之間的關係既有因果的部分也有非因果的部分。

圖表2:因果視角下的推薦場景

因為confounder(B)的存在,T 到Y 之間有兩條路徑,紅色的線表示受到confounder 影響的非因果關係,藍色的表示使用者和物品之間匹配程度的因果關係。因果和非因果的部分反應的是user-item pair(T)和使用者反饋(Y)之間的不同關係。由於confounder 的種類是多種多樣的,很多時候它們也是一起發生的,僅僅透過推薦模型裡的訓練資料是很難有效識別出非因果關係的。

推薦文章  娛樂圈讀心異能甜爽文丨《你看/聞起來真的好甜》

因此,研究者認為:

現有搜尋推薦聯合的模型與方法並沒有從深層次發掘和利用搜尋行為與推薦模型之間的因果關係;

現有推薦模型普遍沒有考慮到訓練過程中產生的各種bias,多種bias 組成的confounder 會影響模型的訓練。

因此,他們提出了一個因果學習框架,使用工具變數(instrumental variable)方法利用搜尋資料輔助推薦模型。首先T 被分解為causal 和non-causal 的部分,再將這兩個部分重構成為新的T,作為推薦模型的輸入。

二、方法介紹

針對這些挑戰,研究者提出了一種基於因果推斷中工具變數方法、使用搜尋資料輔助推薦模型的框架– IV4REC(Instrumental Variables for Recommendation)。該方法使用使用者的搜尋query 作為工具變數(IVs),來分解和重構推薦系統中的embedding。

具體來說,該方法主要分為三個部分:A. 構造treatment (T)和Instrumental Variables (IVs),B. 重構treatment,C. 將重構的treatment 應用到推薦模型

初步知識:工具變數

工具變數是一種用來估計因果關係的方法,在經濟學、流行病學等領域得到了廣泛的應用,是2021 年諾貝爾經濟學獎得主的主要貢獻之一。

下圖為工具變數的應用場景,圖3 為所有變數之間的因果關係。研究者想探究T 和Y 之間的因果關係,但是其受到confounder U 的影響,而工具變數Z 是一個和U 無關,但和T 有關,並僅透過T 影響Y 的變數。

圖表3:所有變數間的因果關係

圖4 為工具變數應用的過程:先用Z 迴歸T 得到,再用迴歸Y,迴歸Y 得到的關係就可以認為是T 和Y 之間的因果關係。

圖表4:工具變數幹預後的因果關係

A. 構造treatment

對於推薦場景來說,研究者認為互動資料中的use-item pair 是treatment。對於序列推薦來說,user embedding 是透過user 的瀏覽歷史的到的,所以user 可以看作是瀏覽歷史中所有item embedding 的集合。所以use-item pair 可以看作一個item embedding 的集合,其中元素為候選物品以及使用者瀏覽歷史中的所有物品。

推薦文章  看一集就入坑的6部虐心劇,每部至今意難平

對於搜尋引擎的日誌資料來說,一般儲存的是user-query-item-click 這種四元組。對於每一個需要的item,透過搜尋日誌資料召回點選過它的query。每一個item 召回n 個點選過它的query 作為其工具變數,具體方法為:透過BERT 等預訓練模型將query 的文字資訊轉化為向量,將n 個query 的embedding 堆疊起來成為一個矩陣,該矩陣即是對應item embedding 的工具變數(IVs)。對於每一個user 的瀏覽歷史中的item 構造IVs,這些矩陣構成了user 的IVs。

B. Treatment 重構

首先進行treatment 分解。使用IVs 的目標是透過IVs 分離出來treatment 和outcome 之間的因果關係。研究者用IVs(Z)迴歸treatment(T)得到,根據IVs 的理論,和Y 之間的關係代表了T 和Y 之間的因果關係。並且,他們用T -得到殘差,並認為和Y 之間代表了T 和Y 之間的非因果關係。傳統的因果推薦應用中,主要目的是探究因果關係而不是預測準最終的Y,所以通常會直接移除殘差。

但是,研究者關心的更多是提升推薦模型的預測準確性,所以在下一步仍然利用殘差來提升推薦效能。

圖表5:treatment 重構

Treatment 融合。研究者使用加權求和的方式融合兩部分treatment,2 個深度神經網路(MLP)被分別用來學習和的權重,兩個網路結構相同,輸入均為和的concatenation。

C. 將重構的treatment 應用到推薦模型

圖表6:IV4Rec 的架構

許多序列推薦模型(DIN、DIEN、NRHUB、BST 等等)都共享上圖左邊的結構,我們將其稱之為underlying model。 Underlying model 將item 用向量表示,利用使用者的歷史行為來學習使用者的表示,並基於學到的使用者和物品的表示來預測使用者對於物品的偏好分數。

研究者提出的IV4Rec 框架可以應用在所有符合underlying model 結構的模型上,只需要簡單地在item embedding layer 後加入treatment reconstruction module。重構的使用者表示是透過其瀏覽歷史中的物品的重構向量得到的,再利用重構出的使用者和候選物品向量,便可以得到更加精確的預測值。

三、實驗結果

為了證明提出的IV4Rec 框架的有效性,研究者在新聞推薦公開資料集MIND 和快手短影片資料集上進行了實驗。採用準確性指標AUC,以及兩個排名指標MRR 和NDCG 進行評估,MRR 和NDCG 的位置分別設定為5 和10。

推薦文章  今日娛樂看點:黃曉明李一桐肖戰楊洋龔俊唐嫣蔡徐坤

研究者將IV4Rec 框架應用在了兩個推薦模型DIN 和NRHUB 上(記為IV4Rec-DIN, IV4Rec-NRHUB),並且和一個聯合最佳化搜尋和推薦的框架JSR 進行了比較(記為JSR-DIN,JSR-NRHUB)。

從下表1 可以看出,與不加入IV4Rec 的underlying model 比較,在所有指標上,本文提出的IV4Rec 框架具有不俗的效能提升。另外,IV4Rec 對於underlying model 的效能提升遠超過JSR 這個聯合最佳化搜尋和推薦的框架。這些結果都驗證了IV4Rec 的有效性。

在快手短影片資料集上,NRHUB 本身就利用了搜尋行為作為使用者特徵,研究者對於DIN 也額外加入了一個使用者行為的塔來利用搜尋行為特徵,因此在該資料集的實驗中,IV4Rec 的確是從因果推斷的角度提升了模型的效果,而不是因為加入搜尋特徵得到的提升。

表1. 整體實驗結果

為了進一步探究所提出的方法利用殘差的效果,研究者在快手短影片資料集上嘗試了不同版本的IV4Rec 框架,結果如下圖2 所示。

不同的版本分別為:只使用因果的部分;只使用殘差;不用reconstruction module,直接使用原本的treatment;使用重構的treatment 透過concatenate和殘差;使用IV4Rec 中方式重構的treatment。可以發現當兩個部分被聯合到一起的時候,AUC 提升了很多。這種現象同時發生在NRHUB 和DIN 上,這說明了殘差也可以提升使用者偏好的預測,因為殘差仍然和最終的Y 有很強的相關關係。當目標是做出準確的預測而不是分析因果關係時,和是互補的兩個部分。

圖2:不同的treatment reconstruction 方式的影響。

封面圖源:https://www.xenonstack.com/use-cases/recommendation-system/

.

Scroll to Top