發(fā)布時(shí)間：2019-12-04 09:04

【摘要】：數(shù)據(jù)是互聯(lián)網(wǎng)中最寶貴的資源之一,海量數(shù)據(jù)中蘊(yùn)含著巨大的潛在價(jià)值,深入挖掘這些數(shù)據(jù)對于互聯(lián)網(wǎng)電子商務(wù)、企業(yè)決策與推廣、信息傳播與預(yù)測均具有重要的意義。隨著Web2.0網(wǎng)絡(luò)應(yīng)用與移動終端設(shè)備的發(fā)展,社交網(wǎng)絡(luò)的普及率與使用率日益提高。相比傳統(tǒng)網(wǎng)絡(luò)應(yīng)用形式,社交網(wǎng)絡(luò)具有用戶主體性強(qiáng)、網(wǎng)絡(luò)特征多樣、數(shù)據(jù)內(nèi)容豐富、群體交互密切、信息傳播迅速等特點(diǎn)。傳統(tǒng)的研究方法與模型難以準(zhǔn)確地描述社交網(wǎng)絡(luò)中用戶的行為特征,因而難以實(shí)現(xiàn)符合社交網(wǎng)絡(luò)特性的數(shù)據(jù)挖掘與分析。鑒于此,論文結(jié)合交叉學(xué)科的研究方法,針對現(xiàn)有算法與模型運(yùn)用于社交網(wǎng)絡(luò)時(shí)存在的效果與性能問題,分別從互聯(lián)網(wǎng)數(shù)據(jù)采集與處理、社交網(wǎng)絡(luò)數(shù)據(jù)實(shí)證分析、用戶影響力與行為分析、用戶個(gè)性化推薦算法以及基于機(jī)器學(xué)習(xí)的信息預(yù)測算法等角度,對社交網(wǎng)絡(luò)中的數(shù)據(jù)挖掘方法進(jìn)行了研究。 論文的研究工作得到了國家自然科學(xué)基金項(xiàng)目(No.61172072、61271308)、北京市自然科學(xué)基金項(xiàng)目(No.4112045)和高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金(No.20100009110002)的支持,論文的主要研究內(nèi)容如下： 1.研究了互聯(lián)網(wǎng)數(shù)據(jù)采集與預(yù)處理技術(shù)。針對數(shù)據(jù)挖掘相關(guān)研究對于數(shù)據(jù)樣本精度與模型處理性能的具體要求,提出了一套數(shù)據(jù)抓取與處理的完整方案。首先,優(yōu)化了基于Nutch的分布式網(wǎng)絡(luò)爬蟲系統(tǒng),實(shí)現(xiàn)了爬蟲系統(tǒng)的并行化同步運(yùn)行方式,提升了爬蟲處理性能。之后,重點(diǎn)研究了網(wǎng)頁信息解析算法,提出了基于規(guī)則與基于wrapper的網(wǎng)頁解析模型�；�于規(guī)則的網(wǎng)頁解析模型邏輯簡單且普適性強(qiáng),適用于互聯(lián)網(wǎng)海量網(wǎng)頁的處理工程；基于wrapper的網(wǎng)頁解析模型具有較高的信息抽取精度,且能夠?qū)崿F(xiàn)來自相同網(wǎng)站信息的結(jié)構(gòu)化處理。最后,研究了網(wǎng)頁快速消重算法與自動摘要算法,以到達(dá)降低樣本特征的數(shù)量與維度,提高數(shù)據(jù)質(zhì)量的目的。 2.實(shí)證分析了微博社交網(wǎng)絡(luò)特征與用戶特征。對新浪微博在線數(shù)據(jù)進(jìn)行了多維度分析,包括用戶特征、微博特征、時(shí)間與演化特征等,探討了作用于用戶影響力與微博傳播關(guān)系的主要因素。在上述分析的基礎(chǔ)上,提出了一套微博社交網(wǎng)絡(luò)用戶權(quán)重計(jì)算模型。該模型由用戶活躍度特征與基于HITS算法的用戶影響力特征加權(quán)實(shí)現(xiàn),并在數(shù)據(jù)分析的基礎(chǔ)上改進(jìn)了HITS算法的實(shí)現(xiàn)方式,降低了傳統(tǒng)HITS模型用于迭代的運(yùn)算時(shí)間。社交網(wǎng)絡(luò)中更強(qiáng)調(diào)人與人的交互關(guān)系,本文用戶權(quán)威性分析,為進(jìn)一步研究社交網(wǎng)絡(luò)中的信息推薦與傳播機(jī)制提供了理論基礎(chǔ)。 3.研究了社交網(wǎng)絡(luò)中的用戶個(gè)性化推薦算法。針對傳統(tǒng)推薦算法不足以描述社交網(wǎng)絡(luò)中的用戶偏好性問題,提出了基于統(tǒng)計(jì)特征的微博推薦算法。該算法由用戶微博內(nèi)容偏好性、微博作者影響力水平與用戶交互關(guān)系三大特征加權(quán)構(gòu)成,算法邏輯簡單,計(jì)算性能較高,適用于在線微博平臺的應(yīng)用級研究。為進(jìn)一步提高模型的推薦精度,論文借助基于二元網(wǎng)絡(luò)的NBI推薦模型,對NBI模型初始矩陣與計(jì)算中連接權(quán)重進(jìn)行了優(yōu)化,并將具有社交網(wǎng)絡(luò)特色的用戶特征對于微博的偏好性影響加入到模型中,實(shí)現(xiàn)了微博的個(gè)性化推薦。試驗(yàn)結(jié)果表明,該算法相比NBI模型或單一偏好特征推薦模型,具有更好的個(gè)性化推薦效果。 4.提出了基于機(jī)器學(xué)習(xí)的信息預(yù)測方法。結(jié)合微博社交網(wǎng)絡(luò)的真實(shí)數(shù)據(jù),分析了影響用戶連接關(guān)系以及微博傳播的主要特征因素,建立了基于SVM的用戶連接關(guān)系預(yù)測模型與基于邏輯回歸的用戶微博轉(zhuǎn)發(fā)模型。為提高算法的預(yù)測性能與big-data模式下模型的實(shí)現(xiàn)方式,初步探討了相關(guān)機(jī)器學(xué)習(xí)模型的并行化參數(shù)訓(xùn)練方法,提出了SVM模型的松弛變量權(quán)重優(yōu)化算法,提升了模型的預(yù)測精度。最后,以用戶微博轉(zhuǎn)發(fā)模型計(jì)算結(jié)果作為個(gè)體決策先驗(yàn)概率,利用蒙特卡羅仿真方法模擬了微博在社交網(wǎng)絡(luò)中的傳播過程。該方法通過微觀個(gè)體決策模型,結(jié)合全局仿真,不但能夠預(yù)測信息的宏觀傳播趨勢,還可以發(fā)現(xiàn)傳播路徑中可能存在的關(guān)鍵用戶節(jié)點(diǎn),為信息的傳播預(yù)測研究提供了參考和借鑒。
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2014
【分類號】：TP393.09

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張彥超;劉云;李勇;沈波;;基于自動生成模板的Web信息抽取技術(shù)[J];北京交通大學(xué)學(xué)報(bào);2009年05期

2 尹增謙,管景峰,張曉宏,曹春梅;蒙特卡羅方法及應(yīng)用[J];物理與工程;2002年03期

3 涂育松,李曉,鄧敏藝,孔令江,劉慕仁;一維Sznajd輿論模型相變的研究[J];廣西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2005年03期

4 田興玲;劉慕仁;孔令江;;一維Sznajd輿論模型中噪聲因素對演化的影響[J];廣西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年01期

5 林鴻飛;基于示例的文本標(biāo)題分類機(jī)制[J];計(jì)算機(jī)研究與發(fā)展;2001年09期

6 張蓉;數(shù)據(jù)聚類技術(shù)的研究[J];計(jì)算機(jī)工程與應(yīng)用;2002年16期

7 羅可,林睦綱,郗東妹;數(shù)據(jù)挖掘中分類算法綜述[J];計(jì)算機(jī)工程;2005年01期

8 楊建武,陳曉鷗;基于倒排索引的文本相似搜索[J];計(jì)算機(jī)工程;2005年05期

9 徐翔;王煦法;;協(xié)同過濾算法中的相似度優(yōu)化方法[J];計(jì)算機(jī)工程;2010年06期

10 夏小伍;王衛(wèi)平;;基于信任模型的協(xié)同過濾推薦算法[J];計(jì)算機(jī)工程;2011年21期

，

本文編號：2569559