天津公司打造智能語音情感分析系統(tǒng)“青鸞”，實現(xiàn)AI中臺驅(qū)動的客戶服務(wù)精準(zhǔn)運營

隨著行業(yè)內(nèi)針對智能客戶服務(wù)的要求運營質(zhì)量展現(xiàn)出爆發(fā)式提高，為了提升客戶服務(wù)感知、解決“場景服務(wù)碎片化、效率低下”等問題，天津公司打造了語音認(rèn)知分析系統(tǒng)“青鳶”，面向分析、推薦、維系、預(yù)測四大場景進行應(yīng)用，致力建設(shè)“大數(shù)據(jù)+AI”協(xié)同的服務(wù)運營體系，實現(xiàn)AI中臺驅(qū)動的客戶服務(wù)精準(zhǔn)運營。

團隊介紹

△趙東明，項目負責(zé)人，博士，浙江大學(xué)博士后，中國移動AI中臺專家/“高層次”專家/IT高級專家，天津移動AI實驗室負責(zé)人，累計獲得119項科技獎勵及榮譽，16項發(fā)明專利，30余篇高水平論文，負責(zé)產(chǎn)品的語音情感、認(rèn)知圖譜研發(fā)、算法研究。

△田雷，技術(shù)負責(zé)人，北大數(shù)學(xué)系碩士，天津中心大數(shù)據(jù)架構(gòu)專家，積累了大量數(shù)據(jù)倉庫和大數(shù)據(jù)平臺的系統(tǒng)架構(gòu)、數(shù)據(jù)模型、需求開發(fā)的先進經(jīng)驗，負責(zé)產(chǎn)品的大數(shù)據(jù)倉庫算法、大數(shù)據(jù)支撐工作。

△陳晨，大數(shù)據(jù)架構(gòu)師，北京交通大學(xué)碩士，大數(shù)據(jù)專家，長期鉆研客戶需求深度挖掘，基于AI算法促進存量客戶價值循環(huán)升檔研究，負責(zé)產(chǎn)品的滿意度預(yù)測機器學(xué)習(xí)算法及工程實現(xiàn)。

△石理，算法工程師，南開大學(xué)碩士，集團AI中臺專家，在人工智能、計算機視覺、機器學(xué)習(xí)方面具有較豐富的研發(fā)經(jīng)驗，負責(zé)產(chǎn)品的基礎(chǔ)平臺支撐和應(yīng)用拓展。

△孫武，數(shù)據(jù)工程師，碩士，大數(shù)據(jù)專家，負責(zé)產(chǎn)品交互界面的設(shè)計、開發(fā)，以及大數(shù)據(jù)+AI模型的標(biāo)準(zhǔn)、運營和優(yōu)化。

1、項目背景

客戶服務(wù)的場景化運營質(zhì)量與維系、服務(wù)的措施息息相關(guān)，為了解決中國移動“運營場景碎片化、策略簡單、效率低、服務(wù)方式過于被動化”的痛點，急需引入大數(shù)據(jù)、智能語音和知識圖譜能力，跟蹤客戶語音情感變化、異動變化、滿意度變化，構(gòu)建智能語音認(rèn)知分析系統(tǒng)，實現(xiàn)“面向場景、面向需求、面向情感”的服務(wù)運營體系。同時，中國移動積累了大量客戶服務(wù)數(shù)據(jù)（10086語音、外呼語音、投訴工單、在線服務(wù)記錄、服務(wù)標(biāo)簽），投訴數(shù)據(jù)價值挖掘的方面存在不足。通過挖掘投訴語音文件的價值，并基于識別的客戶情緒、語義信息等為運營提供決策支持，可提前獲知客戶的潛在不滿意傾向/離網(wǎng)傾向，可以持續(xù)提升中國移動的服務(wù)體驗。

為了持續(xù)提升客戶服務(wù)感知，天津公司人工智能實驗室在集團智慧中臺戰(zhàn)略指導(dǎo)下，基于集團九天AI平臺的算力、算法能力，打造了以精益服務(wù)、存量保拓為目標(biāo)的語音情感認(rèn)知分析系統(tǒng)“青鸞”，重點建設(shè)智能語音情感分析、文本語義挖掘、滿意度預(yù)測、認(rèn)知圖譜推理四個方面的AI能力，典型場景定位為存量運營、滿意度提升、感知監(jiān)控，客戶體驗分析等，覆蓋服務(wù)、無線、資費、家寬、存量、價值等場景，有效推動“大數(shù)據(jù)+AI”協(xié)同的服務(wù)運營體系的建設(shè)。

2、系統(tǒng)功能

智能語音情感認(rèn)知分析系統(tǒng)命名為“青鸞”，是山海經(jīng)中代表吉祥如意的神鳥，其意為“鸞音鶴信”，名字取自羅隱的著名唐詩“鸞音鶴信杳難回，鳳駕龍車早晚來”，寓意是打造語音情感AI能力，給客戶“仙境般”的服務(wù)體驗。“青鸞”系統(tǒng)基于海量熱線語音數(shù)據(jù)進行智能情感分析，輸出關(guān)鍵標(biāo)簽和結(jié)構(gòu)化情感分類，生成個性化語音理解分析報告，以日報月報、智能大屏、分析圖表、專題報告等方式呈現(xiàn)給運營服務(wù)管理人員，提供語音結(jié)構(gòu)化檢索、情感語義理解、認(rèn)知方案生成、業(yè)務(wù)運營決策輔助等能力，提供接口、租戶兩種賦能方式，面向分析、推薦、維系、預(yù)測四大類場景進行應(yīng)用，并通過數(shù)據(jù)可視化運營分析界面方式進行展示。

“青鸞”智能語音情感認(rèn)知分析系統(tǒng)主要有四大功能域：

智能語音情感能力分析：基于在線10086每日15萬條語音數(shù)據(jù)、投訴外呼語音每日600條條等，構(gòu)建多模態(tài)語音情感分類模型，提供“情感分類、情感量化、情感分析報告”能力。

語音轉(zhuǎn)寫文本挖掘分析：基于集團科大訊飛ASR的語音轉(zhuǎn)寫文本，打造篇章段落分析、深度語義理解、核心語義提取、自動分析報告等AI模型。

認(rèn)知圖譜滿意度預(yù)測：融合資費、無線、家寬等全域服務(wù)數(shù)據(jù)，構(gòu)建認(rèn)知圖譜引擎，以種子用戶鏈接全量用戶，精準(zhǔn)預(yù)測用戶的潛在投訴/不滿意概率，對接IOP實現(xiàn)客群輸出。

可視化服務(wù)運營管理：以分布圖、趨勢圖、地圖等方式進行可視化展示，體現(xiàn)底層AI和大數(shù)據(jù)能力，支撐運營人員快速完成查詢、下載、任務(wù)執(zhí)行。

（1）技術(shù)架構(gòu)

“青鸞”系統(tǒng)架構(gòu)自底向上為：基礎(chǔ)數(shù)據(jù)層、數(shù)據(jù)預(yù)處理層、情感/語義理解層、能力輸出層、應(yīng)用層。存儲層將從投訴語音及相關(guān)標(biāo)簽記錄進行統(tǒng)一存儲；數(shù)據(jù)預(yù)處理層對語音進行預(yù)處理，提取多模態(tài)信息特征并初步進行段落分配；情感語義理解層主要將語音進行精細化的情感及語義分析，理解用戶的意圖；能力輸出層將情感語義能力進行統(tǒng)一開放，包括URL頁面嵌入開放及接口開放；應(yīng)用層通過對接前端業(yè)務(wù)系統(tǒng)，場景賦能。

（2）系統(tǒng)構(gòu)建

“青鸞”語音情感分析系統(tǒng)打造了“要素-引擎-能力-場景”系統(tǒng)構(gòu)建方式，實現(xiàn)了數(shù)據(jù)融通，匯聚了10086熱線呼入語音、10088熱線外呼語音、大數(shù)據(jù)標(biāo)簽庫、經(jīng)分資料庫、評測數(shù)據(jù)、歷史工單數(shù)據(jù)等，對接集團統(tǒng)一AI平臺的訊飛ASR進行語音轉(zhuǎn)寫，打造語音情感、文本挖掘系列AI能力，實現(xiàn)了“要素-引擎-能力-場景”的系統(tǒng)構(gòu)建新方式。

（3）主體流程

“青鸞”語音情感分析系統(tǒng)主體流程：數(shù)據(jù)處理、篇章段落分析、特征提取及對齊、情感及語義理解、結(jié)果輸出五大步驟。首先獲取用戶語音文件及相應(yīng)會話記錄，對語音進行轉(zhuǎn)文字處理，然后將文本按照篇章段落進行語義劃分，提取子段落的音頻及文本特征，實現(xiàn)情感及語義的深度理解，最終生成分析報告、維系策略，輔助客服服務(wù)和存量運營。語音識別利用集團ASR能力，語音情感建?；诩瘓F九天AI平臺能力，數(shù)據(jù)來源于梧桐大數(shù)據(jù)+省公司系統(tǒng)。

3、應(yīng)用場景實例

（1）面向熱線語音的情感分析和情感修補

針對10086熱線呼入、10088呼出及網(wǎng)絡(luò)投訴處理外呼的語音，“青鸞”基于獨創(chuàng)的多模態(tài)信息處理技術(shù)實現(xiàn)語音情感分類及情感強度量化，以實時和離線兩種模式對外開放能力，實時接口對外提供“情感分類、情感量化”服務(wù)，離線接口提供“情感分析報告”能力。省公司、分公司、網(wǎng)格的服務(wù)運營人員，通過用戶的情緒波動，分析服務(wù)質(zhì)量，主動進行客戶情感修補和存量維系，并適時地進行熱點業(yè)務(wù)推薦。

（2）深度理解語音場景，提供情感分析報告

“青鸞”通過對語音的深度理解分析，實現(xiàn)對語音的結(jié)構(gòu)化梳理，對整篇熱線語音細分為若干語義段落：用戶提出問題、客服給出解答、溝通交流、最終反饋等，生成詳細的情感曲線、情緒強度及語義要素的分析報告，支持對語音進行在線播放，輔助客服人員進行運營決策。

（3）構(gòu)建客戶服務(wù)認(rèn)知視圖，深挖不滿原因

“青鸞”融合用戶、產(chǎn)品、行為、語音、投訴等全域客服數(shù)據(jù)，形成客戶服務(wù)認(rèn)知圖譜體系，基于熱線語音蘊含的新對服務(wù)過程進行認(rèn)知推理。認(rèn)知圖譜以“客戶本體-關(guān)系-屬性實體”方式構(gòu)建，鏈接全量用戶，精準(zhǔn)感知每名客戶的訴求，基于現(xiàn)有投訴/不滿意客戶的屬性智能推理其他用戶的潛在投訴/不滿意概率。

（4）智能識別特殊事件，構(gòu)建客戶感知體系

“青鸞”為省公司服務(wù)運營人員提供熱線服務(wù)數(shù)據(jù)中發(fā)現(xiàn)特殊事件的能力，以針對熱點、突發(fā)、異動事件進行發(fā)現(xiàn)、篩選、分析、監(jiān)控。針對多模態(tài)數(shù)據(jù)（語音情感、語音轉(zhuǎn)文本、投訴文本）進行綜合根因分析，情感+語義實現(xiàn)服事件主題的自動監(jiān)控。通過熱線數(shù)據(jù)的深入挖掘，以及對客戶進行情感、語義、服務(wù)質(zhì)量等層面的感知識別，構(gòu)建客戶真實感知體系，幫助服務(wù)滿意度提升。

（5）打造滿意度預(yù)測功能，解決服務(wù)難點

“青鸞”接入B域的全量大數(shù)據(jù)標(biāo)簽數(shù)據(jù)，省公司客響中心提供的家寬用戶感知探測數(shù)據(jù)，以及省公司無線中心提供的無線網(wǎng)絡(luò)異常感知數(shù)據(jù)，具備BOM三域融通的數(shù)據(jù)基礎(chǔ)，基于認(rèn)知圖譜技術(shù)，打造了全場景、多功能域的滿意度預(yù)測體系。根據(jù)用戶資費、家寬、集客等資費使用情況，以種子用戶推理全量用戶的業(yè)務(wù)滿意度情況，預(yù)估全量非沉默用戶對業(yè)務(wù)、服務(wù)、資費的滿意度。系統(tǒng)以可視化方式輸出，并給出具體的不滿意原因，幫助分公司、網(wǎng)格的服務(wù)運營人員針對性做好用戶服務(wù)和精準(zhǔn)營銷。

4、重點AI能力

（1）多模態(tài)語音情感分類能力

針對10086呼入（日均15萬條）、10088外呼（日均2000條）及轉(zhuǎn)寫的文本，將聲音特征和文本特征進行綜合分析，通過監(jiān)督模型的標(biāo)注數(shù)據(jù)訓(xùn)練，實現(xiàn)情感的分類預(yù)測。模型架構(gòu)考慮盡可能地納入更多特征，并使用attention網(wǎng)絡(luò)進行特征對齊，最終多模態(tài)情感分類的負面情緒（厭惡、生氣、憤怒）精度達81%，業(yè)界領(lǐng)先。

（2）語音對話文本分析能力

針對10086語音轉(zhuǎn)寫的非結(jié)構(gòu)化文本進行語義解析，提取重點句、核心詞、情感，智能生成長文本摘要，并將整體溝通過程劃分為多個段落，每個段落生成精細化標(biāo)簽，減輕運營人員聽取錄音的壓力，提升運營效率。模型對坐席和用戶的溝通文本進行分析，輸出重點句、關(guān)鍵詞、摘要、篇章段落等分析結(jié)果，人工校驗的準(zhǔn)確率為80%。

（3）認(rèn)知圖譜語義推理能力

以“場景-原因概念-基本概念-原子”架構(gòu)實現(xiàn)知識圖譜架構(gòu)升級，面向離網(wǎng)預(yù)警、滿意度預(yù)測、指標(biāo)分析等場景提供可理解、可解釋的運營策略。認(rèn)知圖譜包含面向用戶問題的現(xiàn)象層（現(xiàn)象標(biāo)簽），面向運營場景的原因概念層（概念標(biāo)簽），基本概念層（特性），原子層（原子標(biāo)簽），運營策略庫。納入全量大數(shù)據(jù)標(biāo)簽、家寬感知標(biāo)簽，形成百億級推薦鏈路的認(rèn)知大腦，實現(xiàn)一套系統(tǒng)支撐存量、服務(wù)、運營全場景，面向權(quán)益、換機、升檔、在網(wǎng)等提供AI核心計算引擎，提升推薦成功率，增強推薦理由的可讀性，整體推進準(zhǔn)確率達90%。

5、應(yīng)用和推廣

“青鸞”系統(tǒng)于2021年1月20日正式上線，已實現(xiàn)面向天津公司900萬用戶的語音情感監(jiān)測評估，納入每日15萬條10086熱線語音、每日1.1萬條10088外呼語音，以及累計10.9萬條家寬投訴外呼語音，實現(xiàn)全量語音數(shù)據(jù)的服務(wù)感知閉環(huán)管理，及時發(fā)現(xiàn)潛在不滿情況，給予情感修補和維系。

基于認(rèn)知圖譜技術(shù)，每月輸出90萬資費潛在不滿意客戶群，自2020年11月以來累計輸出307萬?；诳晚懼行娜胀降娜?30萬用戶家寬感知特征數(shù)據(jù)，每日輸出9.1萬家寬潛在不滿意客戶群及原因分布?；跓o線中心潛在網(wǎng)絡(luò)不滿意用戶，對5.2萬無線不滿意客戶進行原因挖掘并可視化展示。每日可挖掘到服務(wù)異常事件120余次，每日識別的語音負面情感用戶達1.6萬戶。

“青鸞”系統(tǒng)已在天津客服領(lǐng)域推廣試用，已實現(xiàn)入駐集團九天AI平臺的“AI超市”，以能力和應(yīng)用案例兩種方式對外賦能，支持一點支撐全網(wǎng)，同批次共上架7項AI能力和3項AI案例，已和江西公司達成智能語音系統(tǒng)研發(fā)合作意向，共同進行10088外呼語音質(zhì)檢、10088外呼營銷質(zhì)量評測等場景的推廣。

“青鸞”為天津公司首創(chuàng)的基于智能語音技術(shù)的智慧服務(wù)解決方案，以AI實驗室研發(fā)能力為基礎(chǔ)，與浙江大學(xué)、河北工業(yè)大學(xué)等知名高校實現(xiàn)產(chǎn)學(xué)研合作。牽頭總部的《中國移動全網(wǎng)知識圖譜試點工作》，和江蘇、浙江一起負責(zé)知識圖譜規(guī)劃，項目的認(rèn)知圖譜等方案納入集團統(tǒng)一規(guī)劃。“青鸞”項目輸出3項國家發(fā)明專利，2篇國家級期刊論文，完成1項集團公司省級自立研發(fā)計劃并結(jié)題。