話題識別與追蹤作為一項旨在幫助人們應對信息過載問題的研究，現(xiàn)階段主要以網(wǎng)絡新媒體中的信息流為處理對象，自動發(fā)現(xiàn)話題并把話題相關的內(nèi)容聯(lián)系在一起，其實現(xiàn)過程涉及5個子任務，分別是報道切分、首報道檢測、關聯(lián)檢測、話題追蹤和話題檢測。話題識別與追蹤技術可用來監(jiān)控各種語言信息源，在新話題出現(xiàn)時發(fā)出警告。在早期研究中，考慮到話題識別與追蹤和信息檢索的共性，研究者們嘗試將信息檢索領域的相關技術應用于該領域。但二者之間亦存在不同，例如信息檢索一般具備背景知識和先驗需求，而話題識別與追蹤是在對話題毫無了解的情況下進行識別與追蹤，所以完全將信息檢索技術移植到話題識別與追蹤是不合理的，但是二者的本源性——模型構建基本相通。
針對話題模型的前瞻性研究來自Allan等，他們借用信息檢索領域廣泛采納的向量空間模型描述話題的特征空間。雖然向量空間模型是目前常用的話題模型之一，但該模型的缺點是不能很好地融合靜態(tài)話題模型和動態(tài)話題模型的優(yōu)點從而成功解決二者孰優(yōu)孰劣的問題，且在解決話題漂移問題時能力有限。信息檢索領域主要包括三個模型：布爾模型、向量空間模型和概率模型。向量空間模型在話題識別與追蹤領域中的成功應用，從理論上驗證了概率模型亦可應用于話題識別與追蹤。貝葉斯網(wǎng)絡模型是重要的概率模型之一，包括推理網(wǎng)絡模型、信念網(wǎng)絡模型和BNR模型。在過去幾十年，貝葉斯網(wǎng)絡模型已成功應用于信息檢索領域，但目前尚未有人將其應用于話題識別與追蹤，本書在這方面做了相關研究，試圖為該領域提出新的研究方法。
本書結合信念網(wǎng)絡模型和新聞報道的特點，給出四個基于信念網(wǎng)絡的話題模型BSTM-I、BSTM-II、BDTM-I和BDTM-II。BSTM-I包括三類節(jié)點：新報道節(jié)點、術語節(jié)點和話題節(jié)點，弧體現(xiàn)節(jié)點間的隸屬關系。BSTM-II在BSTM-I的基礎上加入事件節(jié)點，弧的指向和意義不變，為體現(xiàn)核心報道、核心事件的重要性，BSTM-II對核心報道、核心事件中的術語權重進行了兩次線性提高調(diào)整。BDTM-I屬于動態(tài)話題模型，節(jié)點類型和弧的意義與上述模型相同，不同的是在話題追蹤過程中，其術語層會隨著話題的發(fā)展而不斷更新，重復出現(xiàn)的術語權重采用求和平均的方法更新，新出現(xiàn)的術語作為新的節(jié)點插入術語層。以上三個話題模型沿用傳統(tǒng)建模思想，具備和以往模型相同的優(yōu)缺點。BDTM-II打破傳統(tǒng)建模的思想，運用信念網(wǎng)絡模型提供了一個靈活框架的優(yōu)勢，將術語節(jié)點分為兩類：初始核心術語節(jié)點和更新術語節(jié)點，并采用析取手段將它們作為兩類證據(jù)進行歸并。依據(jù)模型的拓撲結構、貝葉斯概率及條件獨立性假設，本書給出了上述四個模型計算新聞報道和話題相似度的概率推導過程，用于判斷新的新聞報道是否和話題相關。
為進一步提高話題識別與追蹤系統(tǒng)的綜合性能，本書進行了系統(tǒng)的優(yōu)化研究。特征選擇是話題模型構建的基礎，互信息是文本處理領域一種有效的特征選擇方法。在基本互信息的基礎上，將出現(xiàn)相同高頻詞的新聞報道進行聚類，計算聚類后術語的互信息，將追蹤到的相關報道的發(fā)生時間和話題的發(fā)生時間量化為時間距離，使其反比影響互信息的動態(tài)更新，得到基于聚類的動態(tài)互信息計算方法，用于計算新聞報道中術語的權重。為了獲得TDT4語料中每個話題的初始特征子集規(guī)模，給出基于類內(nèi)距離最小、類間距離最大的目標函數(shù)，并采用坐標下降法對其求解，最終完成新聞語料的特征選擇。
動態(tài)話題模型的典型缺點是誤報率較高，優(yōu)點是其可以體現(xiàn)話題的動態(tài)演化過程。如果能在保持動態(tài)話題模型優(yōu)點的同時，降低其誤報率，將是該領域的一個新的突破點。本書通過系統(tǒng)分析動態(tài)話題追蹤的誤報原因，提出動態(tài)話題追蹤中的誤報檢測。該方法首先分析時間距離、相似度差值、相似話題分布及與核心內(nèi)容相似度分別如何影響誤報檢測，然后通過將這四項內(nèi)容線性調(diào)和得到誤報檢測因子的計算方法，用于判斷追蹤到的相關報道是否屬于誤報，若屬于誤報，則對部分特征權重進行衰減，并確定模型結構是否需要調(diào)整。實驗采用TDT4語料，結合DET曲線驗證以上研究內(nèi)容的合理性和有效性。
專著的出版受到如下項目經(jīng)費支持：河北大學雙一流專項資金項目、河北大學中西部提升綜合實力專項資金項目、河北省教育廳青年基金項目“話題特征選擇方法研究（QN2015099）”、河北省自然科學基金項目“基于貝葉斯網(wǎng)絡的話題識別與追蹤方法研究（F2015201142）”、河北省社會科學基金項目“京津冀協(xié)同發(fā)展網(wǎng)絡熱點話題發(fā)現(xiàn)及其應用研究（HB15SH064）”。
感謝我的博士生導師徐建民先生，是他最初幫我選定了這個研究方向，并在研究工作中對我做出了悉心的指導；感謝本書第二作者中央司法警官學院朱杰博士；感謝我的領導及同事楊會良教授、宛玲教授、楊秀丹教授、郭子雪教授，他們給我提供了進行科研的條件及工作支持；感謝我的師弟王丹青、張猛、武曉波、粟武林、李騰飛，師妹劉暢、孫曉磊等，他們幫我搜集了部分材料并協(xié)助我完成了大量的實驗。
由于本人水平所限，所做研究尚有不足，歡迎相關研究者批評指正。
收起全部↑
書單推薦
