發(fā)布時間：2018-01-31 17:30

  本文關(guān)鍵詞： 內(nèi)容抽取 Web新聞 文本塊密度 標簽路徑特征 在線算法　出處：《中國科學:信息科學》2017年08期 　論文類型：期刊論文

【摘要】：Web新聞內(nèi)容抽取是眾多"大數(shù)據(jù)"和"大知識"應(yīng)用的基礎(chǔ),也是一個開放性問題.標簽路徑特征和文本塊密度特征是目前解決該問題的兩類優(yōu)良特征.標簽路徑特征能較好地區(qū)分全網(wǎng)頁的內(nèi)容與噪聲,但難以識別內(nèi)容塊中的噪聲和噪聲塊中的內(nèi)容;文本塊密度特征能較好地識別高密度的內(nèi)容塊,但魯棒性不足.因此,本文提出了一種可有效結(jié)合標簽路徑特征和文本塊密度特征的Web信息抽取模型CEDP,結(jié)合兩種特征的優(yōu)點,設(shè)計了一種基于文本塊密度加權(quán)的標簽路徑特征,并設(shè)計了基于該特征的Web新聞抽取算法CEDP-NLTD.CEDP-NLTD是一種快速的、通用的、無需訓練的在線Web新聞內(nèi)容抽取算法,適用于Web大數(shù)據(jù)環(huán)境下的多種來源、多種風格、多種語言的異構(gòu)Web新聞網(wǎng)頁抽取任務(wù).在Clean Eval等測試數(shù)據(jù)集上的實驗結(jié)果表明,CEDP-NLTD方法優(yōu)于CETR,CETD,CEPR,CEPF等在線抽取方法,且優(yōu)于基于CEDP模型直接使用CETD方法設(shè)計的3種塊密度特征所形成的算法CEDP-TD,CEDP-CTD,CEDP-DSum.
[Abstract]:Web news content extraction is the basis of many "big data" and "big knowledge" applications. Label path feature and text block density feature are two kinds of excellent features to solve the problem. Label path feature can better distinguish the content and noise of the whole web page. However, it is difficult to identify the noise in the content block and the content in the noise block. The text block density feature can identify the high density content block well, but the robustness is insufficient. This paper presents a Web information extraction model which can effectively combine tag path features and text block density features, and combines the advantages of the two features. A label path feature weighted by text block density is designed, and a Web news extraction algorithm named CEDP-NLTD.CEDP-NLTD is designed based on this feature. The online Web news content extraction algorithm, which is general-purpose and untrained, is suitable for multiple sources and styles in the Web big data environment. The experiment results on Clean Eval and other test datasets show that CEDP-NLTD is superior to CET / CETD. The method of on-line extraction is superior to the algorithm CEDP-TD, which is based on the three block density features designed by using the CETD method directly based on the CEDP model. CEDP-CTD.CEDP-DSum.
【作者單位】： 合肥工業(yè)大學計算機與信息學院;
【基金】：國家重點研發(fā)計劃(批準號:2016YFB1000901) 教育部創(chuàng)新團隊發(fā)展計劃(批準號:IRT13059) 國家自然科學基金(批準號:612-73297,61673152) 國家留學基金(批準號:201506695019)資助項目
【分類號】：TP391.1;TP393.09
【正文快照】： 1引言Web新聞是一種重要的互聯(lián)網(wǎng)大數(shù)據(jù)源.根據(jù)中國互聯(lián)網(wǎng)絡(luò)信息中心(CNNIC)2016年7月發(fā)布的第38次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展狀況統(tǒng)計報告》[1],3大基礎(chǔ)互聯(lián)網(wǎng)應(yīng)用(即時通信、搜索引擎、網(wǎng)絡(luò)新聞)的用戶規(guī)模保持穩(wěn)健增長;在2015.12～2016.6期間,網(wǎng)絡(luò)新聞在中國網(wǎng)民各類互聯(lián)網(wǎng)應(yīng)用中

【相似文獻】

相關(guān)期刊論文 前10條

1 李廣洲,丁金芳,鄧海山;基于Web的化學計算機化自適應(yīng)測驗系統(tǒng)的實現(xiàn)[J];計算機與應(yīng)用化學;2002年05期

2 趙松林;基于Web服務(wù)的企業(yè)應(yīng)用集成[J];微型機與應(yīng)用;2003年08期

3 宋平;;基于Web服務(wù)的企業(yè)應(yīng)用集成[J];福建電腦;2007年10期

4 彭玉華;;基于Web的學生信息管理系統(tǒng)的設(shè)計與實現(xiàn)[J];民營科技;2010年09期

5 ;借會獻技——國際軟件博覽會中心議題web計算及應(yīng)用[J];每周電腦報;1997年43期

6 向劍鋒;;基于Web的企業(yè)信息管理系統(tǒng)安全方案[J];信息與電腦(理論版);2013年11期

7 張彩虹;;分布式虛擬現(xiàn)實系統(tǒng)Web服務(wù)器的設(shè)計與實現(xiàn)[J];計算機光盤軟件與應(yīng)用;2014年05期

8 黃建德;黃其標;;基于WEB的學生信息管理系統(tǒng)的研究與構(gòu)建[J];計算機光盤軟件與應(yīng)用;2014年02期

9 黃廷輝,朱英;一種基于WEB的車輛調(diào)度管理系統(tǒng)[J];桂林電子工業(yè)學院學報;2000年03期

10 李陶深,劉波,楊柳,嚴毅;基于Web的多媒體檔案管理信息系統(tǒng)設(shè)計與實現(xiàn)[J];廣西科學院學報;2000年S1期

相關(guān)會議論文 前10條

1 王衛(wèi);;基于Web的數(shù)據(jù)庫應(yīng)用[A];第十八屆中國（天津）’2004IT、網(wǎng)絡(luò)、信息技術(shù)、電子、儀器儀表創(chuàng)新學術(shù)會議論文集[C];2004年

2 張默;廖湖聲;杜金蓮;;基于Web服務(wù)的開放式地理信息系統(tǒng)的研究[A];2006年全國開放式分布與并行計算機學術(shù)會議論文集（三）[C];2006年

3 鄭菊艷;續(xù)愛民;;基于WEB模式的科研項目管理系統(tǒng)的設(shè)計與實現(xiàn)[A];第十四屆中國科協(xié)年會第5分會場：綠色船舶與海洋裝備創(chuàng)新發(fā)展及產(chǎn)業(yè)化論壇論文集[C];2012年

4 鄭菊艷;續(xù)愛民;;基于WEB模式的科研項目管理系統(tǒng)的設(shè)計與實現(xiàn)[A];2012年MIS/S&A學術(shù)交流會議論文集[C];2012年

5 于莉莉;張毅;;基于Web的人力資源管理系統(tǒng)研究與設(shè)計[A];2008全國制造業(yè)信息化標準化論壇論文集[C];2008年

6 劉穎;;基于Web的學生信息管理系統(tǒng)的設(shè)計與實現(xiàn)[A];2008年計算機應(yīng)用技術(shù)交流會論文集[C];2008年

7 粟智;;基于Web技術(shù)下的分析實驗室計算機網(wǎng)絡(luò)管理系統(tǒng)的開發(fā)與設(shè)計[A];2003年藥物分析論壇“熱分析在藥物分析中的應(yīng)用”專題學術(shù)研討會論文集[C];2003年

8 胡新平;董建成;;基于Web的遠程醫(yī)療會診系統(tǒng)[A];中華醫(yī)學會第十次全國醫(yī)學信息學術(shù)會議論文匯編[C];2004年

9 徐建新;錢建彬;;Web在線編輯在建設(shè)用地管理中的應(yīng)用[A];江蘇省測繪學會2007年學術(shù)年會論文集[C];2008年

10 唐權(quán);吳勤書;;基于web用戶基礎(chǔ)地理數(shù)據(jù)庫更新技術(shù)研究[A];江蘇省測繪學會2011年學術(shù)年會論文集[C];2011年

相關(guān)重要報紙文章 前10條

1 王雅麗;博客社區(qū)齊上陣 銀行借Web 2.0拉攏未來客戶[N];中國計算機報;2008年

2 本報記者 黃智軍;Web應(yīng)用呼喚新型安全系統(tǒng)[N];計算機世界;2009年

3 本報記者 徐恒;手機瀏覽器：競爭不斷加劇 Web大勢所趨[N];中國電子報;2009年

4 訊源;企業(yè)引入Web 2.0的5項忠告[N];計算機世界;2007年

5 迅源;企業(yè)為何害怕Web 2.0？[N];計算機世界;2007年

6 河南省文物考古研究所 北京大學考古文博學院 張�！》窖嗝�;以WEB和3S技術(shù)為支持的南水北調(diào)禹州段考古區(qū)域系統(tǒng)調(diào)查取得初步成果[N];中國文物報;2012年

7 王磊;如何通過Web 2.0贏取客戶[N];中國計算機報;2008年

8 于翔;Web應(yīng)用安全任重道遠[N];網(wǎng)絡(luò)世界;2008年

9 趙海軍;Web服務(wù) 電子商務(wù)新起點[N];中國計算機報;2002年

10 三木邋編譯;檢測Web應(yīng)用漏洞需新工具[N];計算機世界;2008年

相關(guān)博士學位論文 前8條

1 黃治虎;基于網(wǎng)頁信息和圖像特征的Web圖像檢索研究[D];重慶大學;2015年

2 張璞;Web評論文本情感分類方法研究[D];重慶大學;2015年

3 劉維東;Web短文本知識關(guān)聯(lián)模型及其語義連貫計算方法[D];上海大學;2016年

4 孫慧峰;基于協(xié)同過濾的個性化Web推薦[D];北京郵電大學;2012年

5 何儒漢;Web圖像的多模融合檢索研究[D];華中科技大學;2007年

6 孫濤;面向市場情報分析的Web實體事件融合問題研究[D];山東大學;2014年

7 許洪波;大規(guī)模信息過濾技術(shù)研究及其在Web問答系統(tǒng)中的應(yīng)用[D];中國科學院研究生院（計算技術(shù)研究所）;2003年

8 韓志剛;地理超媒體數(shù)據(jù)模型及Web服務(wù)研究[D];河南大學;2011年

相關(guān)碩士學位論文 前10條

1 張銳;基于Web技術(shù)下的出差管理系統(tǒng)[D];西安工業(yè)大學;2015年

2 游維;基于Rest的Web業(yè)務(wù)系統(tǒng)日志采集與分析系統(tǒng)的研究與開發(fā)[D];山東大學;2015年

3 陶瑩昌;基于Web的校園二手圖書拍賣平臺的設(shè)計與實現(xiàn)[D];西華師范大學;2015年

4 周贏;基于WEB的績效管理系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學;2015年

5 吳朝云;基于eyeOS的Web操作系統(tǒng)云存儲研究[D];電子科技大學;2014年

6 林嵐;基于WEB的單位工資管理系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學;2014年

7 武志國;基于Web的人力資源管理系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學;2014年

8 王雁;基于WEB的三維動畫素材管理系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學;2013年

9 張靈鈺;基于web平臺的高校學生工作管理系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學;2013年

10 馮庚;基于WEB的智能油庫信息管理系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學;2014年

，

本文編號：1479607