發(fā)布時間：2019-12-04 09:04

【摘要】：數(shù)據(jù)是互聯(lián)網(wǎng)中最寶貴的資源之一,海量數(shù)據(jù)中蘊含著巨大的潛在價值,深入挖掘這些數(shù)據(jù)對于互聯(lián)網(wǎng)電子商務(wù)、企業(yè)決策與推廣、信息傳播與預(yù)測均具有重要的意義。隨著Web2.0網(wǎng)絡(luò)應(yīng)用與移動終端設(shè)備的發(fā)展,社交網(wǎng)絡(luò)的普及率與使用率日益提高。相比傳統(tǒng)網(wǎng)絡(luò)應(yīng)用形式,社交網(wǎng)絡(luò)具有用戶主體性強、網(wǎng)絡(luò)特征多樣、數(shù)據(jù)內(nèi)容豐富、群體交互密切、信息傳播迅速等特點。傳統(tǒng)的研究方法與模型難以準確地描述社交網(wǎng)絡(luò)中用戶的行為特征,因而難以實現(xiàn)符合社交網(wǎng)絡(luò)特性的數(shù)據(jù)挖掘與分析。鑒于此,論文結(jié)合交叉學科的研究方法,針對現(xiàn)有算法與模型運用于社交網(wǎng)絡(luò)時存在的效果與性能問題,分別從互聯(lián)網(wǎng)數(shù)據(jù)采集與處理、社交網(wǎng)絡(luò)數(shù)據(jù)實證分析、用戶影響力與行為分析、用戶個性化推薦算法以及基于機器學習的信息預(yù)測算法等角度,對社交網(wǎng)絡(luò)中的數(shù)據(jù)挖掘方法進行了研究。 論文的研究工作得到了國家自然科學基金項目(No.61172072、61271308)、北京市自然科學基金項目(No.4112045)和高等學校博士學科點專項科研基金(No.20100009110002)的支持,論文的主要研究內(nèi)容如下： 1.研究了互聯(lián)網(wǎng)數(shù)據(jù)采集與預(yù)處理技術(shù)。針對數(shù)據(jù)挖掘相關(guān)研究對于數(shù)據(jù)樣本精度與模型處理性能的具體要求,提出了一套數(shù)據(jù)抓取與處理的完整方案。首先,優(yōu)化了基于Nutch的分布式網(wǎng)絡(luò)爬蟲系統(tǒng),實現(xiàn)了爬蟲系統(tǒng)的并行化同步運行方式,提升了爬蟲處理性能。之后,重點研究了網(wǎng)頁信息解析算法,提出了基于規(guī)則與基于wrapper的網(wǎng)頁解析模型。基于規(guī)則的網(wǎng)頁解析模型邏輯簡單且普適性強,適用于互聯(lián)網(wǎng)海量網(wǎng)頁的處理工程；基于wrapper的網(wǎng)頁解析模型具有較高的信息抽取精度,且能夠?qū)崿F(xiàn)來自相同網(wǎng)站信息的結(jié)構(gòu)化處理。最后,研究了網(wǎng)頁快速消重算法與自動摘要算法,以到達降低樣本特征的數(shù)量與維度,提高數(shù)據(jù)質(zhì)量的目的。 2.實證分析了微博社交網(wǎng)絡(luò)特征與用戶特征。對新浪微博在線數(shù)據(jù)進行了多維度分析,包括用戶特征、微博特征、時間與演化特征等,探討了作用于用戶影響力與微博傳播關(guān)系的主要因素。在上述分析的基礎(chǔ)上,提出了一套微博社交網(wǎng)絡(luò)用戶權(quán)重計算模型。該模型由用戶活躍度特征與基于HITS算法的用戶影響力特征加權(quán)實現(xiàn),并在數(shù)據(jù)分析的基礎(chǔ)上改進了HITS算法的實現(xiàn)方式,降低了傳統(tǒng)HITS模型用于迭代的運算時間。社交網(wǎng)絡(luò)中更強調(diào)人與人的交互關(guān)系,本文用戶權(quán)威性分析,為進一步研究社交網(wǎng)絡(luò)中的信息推薦與傳播機制提供了理論基礎(chǔ)。 3.研究了社交網(wǎng)絡(luò)中的用戶個性化推薦算法。針對傳統(tǒng)推薦算法不足以描述社交網(wǎng)絡(luò)中的用戶偏好性問題,提出了基于統(tǒng)計特征的微博推薦算法。該算法由用戶微博內(nèi)容偏好性、微博作者影響力水平與用戶交互關(guān)系三大特征加權(quán)構(gòu)成,算法邏輯簡單,計算性能較高,適用于在線微博平臺的應(yīng)用級研究。為進一步提高模型的推薦精度,論文借助基于二元網(wǎng)絡(luò)的NBI推薦模型,對NBI模型初始矩陣與計算中連接權(quán)重進行了優(yōu)化,并將具有社交網(wǎng)絡(luò)特色的用戶特征對于微博的偏好性影響加入到模型中,實現(xiàn)了微博的個性化推薦。試驗結(jié)果表明,該算法相比NBI模型或單一偏好特征推薦模型,具有更好的個性化推薦效果。 4.提出了基于機器學習的信息預(yù)測方法。結(jié)合微博社交網(wǎng)絡(luò)的真實數(shù)據(jù),分析了影響用戶連接關(guān)系以及微博傳播的主要特征因素,建立了基于SVM的用戶連接關(guān)系預(yù)測模型與基于邏輯回歸的用戶微博轉(zhuǎn)發(fā)模型。為提高算法的預(yù)測性能與big-data模式下模型的實現(xiàn)方式,初步探討了相關(guān)機器學習模型的并行化參數(shù)訓(xùn)練方法,提出了SVM模型的松弛變量權(quán)重優(yōu)化算法,提升了模型的預(yù)測精度。最后,以用戶微博轉(zhuǎn)發(fā)模型計算結(jié)果作為個體決策先驗概率,利用蒙特卡羅仿真方法模擬了微博在社交網(wǎng)絡(luò)中的傳播過程。該方法通過微觀個體決策模型,結(jié)合全局仿真,不但能夠預(yù)測信息的宏觀傳播趨勢,還可以發(fā)現(xiàn)傳播路徑中可能存在的關(guān)鍵用戶節(jié)點,為信息的傳播預(yù)測研究提供了參考和借鑒。
【學位授予單位】：北京交通大學
【學位級別】：博士
【學位授予年份】：2014
【分類號】：TP393.09

【參考文獻】

相關(guān)期刊論文 前10條

1 張彥超;劉云;李勇;沈波;;基于自動生成模板的Web信息抽取技術(shù)[J];北京交通大學學報;2009年05期

2 尹增謙,管景峰,張曉宏,曹春梅;蒙特卡羅方法及應(yīng)用[J];物理與工程;2002年03期

3 涂育松,李曉,鄧敏藝,孔令江,劉慕仁;一維Sznajd輿論模型相變的研究[J];廣西師范大學學報(自然科學版);2005年03期

4 田興玲;劉慕仁;孔令江;;一維Sznajd輿論模型中噪聲因素對演化的影響[J];廣西師范大學學報(自然科學版);2006年01期

5 林鴻飛;基于示例的文本標題分類機制[J];計算機研究與發(fā)展;2001年09期

6 張蓉;數(shù)據(jù)聚類技術(shù)的研究[J];計算機工程與應(yīng)用;2002年16期

7 羅可,林睦綱,郗東妹;數(shù)據(jù)挖掘中分類算法綜述[J];計算機工程;2005年01期

8 楊建武,陳曉鷗;基于倒排索引的文本相似搜索[J];計算機工程;2005年05期

9 徐翔;王煦法;;協(xié)同過濾算法中的相似度優(yōu)化方法[J];計算機工程;2010年06期

10 夏小伍;王衛(wèi)平;;基于信任模型的協(xié)同過濾推薦算法[J];計算機工程;2011年21期

，

本文編號：2569559