作者：中國工商銀行軟件開發(fā)中心高級專家 劉承巖

情感計算顧名思義是對情感的感知、理解和表達(dá)，是融合計算機(jī)科學(xué)、心理學(xué)等多個領(lǐng)域的綜合性研究，對于提升計算機(jī)的理解和表達(dá)能力有著重要意義。相關(guān)研究表明，多模態(tài)是未來數(shù)據(jù)形式和人工智能技術(shù)發(fā)展的大趨勢，在表情、語音、姿態(tài)、語義等多元信息互補(bǔ)的激勵下，能夠更加準(zhǔn)確地識別情感目標(biāo)。隨著銀行數(shù)字化轉(zhuǎn)型進(jìn)程推進(jìn)，如何不斷提升服務(wù)水平、防控金融風(fēng)險，一直是銀行業(yè)共同探索的問題。多模態(tài)情感計算的發(fā)展與應(yīng)用，將成為解決上述問題的一大利器。

一、多模態(tài)情感計算發(fā)展現(xiàn)狀及趨勢

多模態(tài)情感計算主要專注于信息之間的融合與交互，根據(jù)融合策略不同，有決策級融合與特征級融合兩種主要技術(shù)路徑。決策級融合即對單獨學(xué)習(xí)好的各模態(tài)信息進(jìn)行直接融合，最簡單的方法是分別實現(xiàn)微表情識別、語音情感識別與文本情感識別，再對識別結(jié)果進(jìn)行簡單加權(quán)。特征級融合是在單個模態(tài)學(xué)習(xí)過程加入模態(tài)之間的交互，動態(tài)補(bǔ)充模態(tài)中缺少的信息。

目前決策級融合在業(yè)界應(yīng)用相對成熟，實現(xiàn)難度低，效果基本滿足預(yù)期。特征級融合對于模態(tài)的信息學(xué)習(xí)更充分，準(zhǔn)確率相較決策級融合有較大提升，但目前暫未有相關(guān)軟件產(chǎn)品，仍處于學(xué)術(shù)研究階段。

隨著多模態(tài)大模型技術(shù)日趨火熱，運(yùn)用大模型執(zhí)行情感計算任務(wù)也成為當(dāng)下的研究熱點，其解決方案為通過自監(jiān)督的方式對海量無標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)，再面向特定場景進(jìn)行少量數(shù)據(jù)的標(biāo)注學(xué)習(xí)及微調(diào)。多模態(tài)大模型對數(shù)據(jù)依賴較低，泛化能力強(qiáng)，還可以與視覺大模型、語言大模型等其他模型相結(jié)合，例如在當(dāng)下最熱門的GPT模型融入情感計算，使該模型在理解和表達(dá)上更加人性化，在視覺大模型中加入情感識別則可以在風(fēng)控、安防等領(lǐng)域發(fā)揮積極作用。然而，現(xiàn)階段大模型也存在一定短板，如對前期訓(xùn)練成本和算力要求非常高，模型龐大的體量也會影響其拓展性與應(yīng)用的靈活性，部署難度加大等。

目前在金融行業(yè)，也有多家銀行積極布局基于微表情、自然語言的單模態(tài)情緒識別或決策級多模態(tài)情緒識別產(chǎn)品，主要應(yīng)用方向為服務(wù)質(zhì)量評價及遠(yuǎn)程面審反欺詐，隨著多模態(tài)情感計算日趨成熟，未來將在銀行業(yè)更多場景發(fā)揮作用。

二、在銀行業(yè)的應(yīng)用前景

1.多模態(tài)情感計算運(yùn)用不同數(shù)據(jù)源可賦能不同類型業(yè)務(wù)。從服務(wù)渠道來說，不同于目前相對成熟的文本情感識別與微表情情感識別，多模態(tài)情感計算可通過不同模態(tài)之間的組合靈活適配音視頻通話、電話語音與文字交互等需求，擺脫對某一固定服務(wù)類型的限制。此外，音視頻服務(wù)常常受到網(wǎng)絡(luò)波動影響出現(xiàn)畫面不穩(wěn)定，導(dǎo)致缺少關(guān)鍵幀無法識別情感的狀況，多模態(tài)情感計算對語音與語義的融合分析能夠較好地維持情感識別的穩(wěn)定性。

從交互方式來說，多模態(tài)情感計算可融入人人交互、人機(jī)交互，以及在元宇宙等虛擬空間的虛擬身份間交互。及時感知客戶情感反饋對銀行提升服務(wù)體驗至關(guān)重要，當(dāng)前各家銀行都在大力發(fā)展7×24小時智能自助服務(wù)，由于缺少服務(wù)人員人工介入，更需要依賴人工智能系統(tǒng)了解客戶滿意度，及時發(fā)現(xiàn)系統(tǒng)存在的不足并改進(jìn)。

2.多模態(tài)情感計算輔助判斷客戶真實意圖。無論是對業(yè)務(wù)辦理過程中表現(xiàn)出的正面與負(fù)面情緒，或是在審核、調(diào)查等過程中出現(xiàn)的明顯情緒波動，通過融合心理學(xué)上的情感映射，都可以一定程度展現(xiàn)客戶當(dāng)前的真實意圖，從而為服務(wù)人員或?qū)徍巳藛T的決策提供參考。真實意圖判斷在對客營銷、服務(wù)評價、盡職調(diào)查、催收、反欺詐等領(lǐng)域能夠發(fā)揮重要作用。結(jié)合客戶畫像，在業(yè)務(wù)環(huán)節(jié)運(yùn)用多模態(tài)情感計算對客戶的意圖、行為等進(jìn)行預(yù)測，可實現(xiàn)精準(zhǔn)營銷、個性化定制化服務(wù)，同時為金融安全保駕護(hù)航。

3.基于多模態(tài)情感計算的情感生成。隨著金融數(shù)字化轉(zhuǎn)型深入推進(jìn)，商業(yè)銀行均在積極布局各種形態(tài)的智能服務(wù)，包含智能文字客服、智能外呼、數(shù)字人等。無論在文本生成、語音合成還是數(shù)字人交互過程中，有情感有溫度的回應(yīng)將會給用戶帶來更優(yōu)質(zhì)的服務(wù)體驗。除了及時應(yīng)對客戶當(dāng)前的情緒波動提供對應(yīng)的安撫或激勵外，還可以結(jié)合客戶畫像特征實現(xiàn)不同的情感表達(dá)。例如面對老人、兒童、不同性別的客戶，采取不同的數(shù)字人形象與講話方式，或是參考客戶聊天習(xí)慣，創(chuàng)建與客戶“更聊得來”的智能客服。

三、在銀行業(yè)的典型應(yīng)用案例

基于以上對多模態(tài)情感計算特點的分析，可以看出情感計算在銀行業(yè)各領(lǐng)域大有可為。現(xiàn)如今銀行業(yè)正不斷擴(kuò)充服務(wù)邊界，多模態(tài)情感計算適用于網(wǎng)點、音視頻、自助服務(wù)等各類服務(wù)渠道，在內(nèi)部人員管理、精準(zhǔn)營銷、風(fēng)險防控等領(lǐng)域擁有豐富的創(chuàng)新應(yīng)用場景?，F(xiàn)階段，銀行業(yè)可以考慮在傳統(tǒng)業(yè)務(wù)中融合情感計算，實現(xiàn)客戶滿意度調(diào)研、輔助風(fēng)控等。未來，隨著新技術(shù)的不斷發(fā)展成熟，可開拓新一代銀行服務(wù)模式，例如基于大模型多輪對話+情感計算的AI智能服務(wù)、元宇宙+情感計算的多元交互等。在此具體分析情感計算應(yīng)用的幾個典型案，供銀行同業(yè)交流參考。

1.多模態(tài)情感計算實現(xiàn)對音視頻、電話、線下等渠道的人工服務(wù)監(jiān)督評價。在服務(wù)過程中感知到客戶出現(xiàn)憤怒等負(fù)面情緒時，及時通知主管人員介入處理，或?qū)崟r監(jiān)測銀行服務(wù)人員的異常情緒，監(jiān)督規(guī)避違規(guī)操作，降低糾紛。在服務(wù)完成后，多模態(tài)情感計算替代客戶對服務(wù)打分評價，減少客戶操作，獲取較為真實的客戶反饋。在事后質(zhì)檢中加入情感質(zhì)檢，實現(xiàn)對內(nèi)部人員管理考核，提升服務(wù)合規(guī)水平。

2.多模態(tài)情感計算輔助銀行人工智能系統(tǒng)改進(jìn)提升。當(dāng)前手機(jī)銀行服務(wù)配置有語音搜索、語音指令控制等功能，以方便老年人群等客戶操作。通過判斷是否重復(fù)多次發(fā)出語音指令，以及語音中是否帶有負(fù)面情緒，幫助銀行了解客戶使用系統(tǒng)的便捷度，并加以改進(jìn)。在智能文字客服、智能語音外呼及數(shù)字人等自助服務(wù)過程中，客戶在文字、語音中出現(xiàn)的異常情緒也為銀行智能服務(wù)的改進(jìn)提升提供依據(jù)。

3.多模態(tài)情感計算助力金融業(yè)務(wù)反欺詐。在信貸面審、信用卡盡職調(diào)查等場景，結(jié)合特定話術(shù)、問題等，捕捉情緒異常波動，為客戶經(jīng)理判斷客戶是否存在隱瞞、欺詐風(fēng)險提供參考。在轉(zhuǎn)賬匯款等業(yè)務(wù)辦理過程中，判斷客戶特別是老年客戶群體是否存在緊張、恐懼等情緒，結(jié)合視頻智能分析等技術(shù)，例如操作過程中是否有人代操作、或邊打電話邊操作等動作，及時阻止可能出現(xiàn)的詐騙案件。

4.多模態(tài)情感計算實現(xiàn)對客服、催收等高流動性崗位人員的智能培訓(xùn)及測評。通過軟件模擬不同業(yè)務(wù)場景下的客戶訴求，由參訓(xùn)人員進(jìn)行應(yīng)答，在應(yīng)答過程中檢測其情緒是否符合崗位要求。受訓(xùn)人員可自行反復(fù)多次訓(xùn)練，也可以通過該方式開展培訓(xùn)結(jié)業(yè)考試等。用自動化訓(xùn)練替代傳統(tǒng)人工培訓(xùn)中需要依賴導(dǎo)師的重復(fù)性訓(xùn)練，大幅節(jié)約師資成本與人力資源。

四、多模態(tài)情感計算應(yīng)用展望與建議

多模態(tài)情感計算對銀行業(yè)提升服務(wù)質(zhì)量與安全性有著廣泛的應(yīng)用前景，在對客服務(wù)、運(yùn)營管理、產(chǎn)品營銷、風(fēng)險防控等領(lǐng)域都能夠發(fā)揮重要作用，還能夠與元宇宙、智能網(wǎng)點、數(shù)字人等新興技術(shù)相結(jié)合，實現(xiàn)智能服務(wù)提升，但該技術(shù)在發(fā)展與推廣過程中仍面臨一定挑戰(zhàn)。

一是目前仍缺少充足且準(zhǔn)確的標(biāo)注數(shù)據(jù)，尤其是銀行業(yè)務(wù)種類繁多，不同的業(yè)務(wù)類型具有不同的情緒傾向和話術(shù)特征，因此每適配一個新的場景都需要投入大量的人力資源進(jìn)行數(shù)據(jù)標(biāo)注與訓(xùn)練，且人工標(biāo)注暫時還沒有統(tǒng)一的方法和標(biāo)準(zhǔn)可以驗證其標(biāo)注準(zhǔn)確性，會導(dǎo)致實際應(yīng)用中識別準(zhǔn)確率不達(dá)預(yù)期。二是心理學(xué)領(lǐng)域關(guān)于情緒和意圖的研究仍處于發(fā)展階段，情緒與意圖之間并非簡單的一對一映射，即使捕捉到人的情緒異常，仍不能保證了解其真實意圖。三是情感計算涉及客戶視頻資料的獲取和分析，在個人隱私保護(hù)要求日益嚴(yán)格的大環(huán)境下，如何在保護(hù)客戶權(quán)益的前提下合理運(yùn)用情感計算技術(shù)，也是銀行業(yè)急需思考的問題。

因此，現(xiàn)階段銀行在應(yīng)用多模態(tài)

情感計算時，建議先在小范圍開展試點，通過充足的脫敏標(biāo)注數(shù)據(jù)進(jìn)行模型調(diào)優(yōu)，定期對算法模型進(jìn)行升級和優(yōu)化。在試點過程中，還要注意客戶信息采集告知授權(quán)、數(shù)據(jù)傳輸與存儲過程加密、算法模型的私有化部署等，保證客戶信息安全。此外，銀行業(yè)還要加強(qiáng)與頭部企業(yè)、高校等機(jī)構(gòu)在計算機(jī)領(lǐng)域與心理學(xué)領(lǐng)域的合作，持續(xù)關(guān)注國內(nèi)外業(yè)界與學(xué)界的最新技術(shù)發(fā)展。

本文來源：微信公眾號《金融電子化》

免責(zé)聲明：所載內(nèi)容來源互聯(lián)網(wǎng)、微信公眾號等公開渠道，我們對文中觀點保持中立，僅供參考、交流等非商業(yè)目的。轉(zhuǎn)載的稿件版權(quán)歸原作者和機(jī)構(gòu)所有，如有侵權(quán)，請聯(lián)系我們刪除。