具有反爬蟲機制的影評系統(tǒng)的設(shè)計與實現(xiàn)
發(fā)布時間:2020-05-26 20:28
【摘要】:隨著電影業(yè)的不斷發(fā)展,越來越多的電影涌現(xiàn)在人們的面前,人們想甄選出較好的電影,通常是以電影的綜合評價作為首要標準,此時全面、客觀的評價就顯得尤為重要了。最早的電影評價是在傳統(tǒng)的紙媒上進行的,通常都是由專業(yè)影評人發(fā)表影評文章,但這種評價方式手段太單一,而且不能夠從多維度對電影進行評價,容易對觀影人產(chǎn)生誤導(dǎo)作用,所以全民參與影評的需求就顯得尤為突出。隨著互聯(lián)網(wǎng)的高速發(fā)展,人們可以在網(wǎng)絡(luò)上對所有的電影進行評價,這種方式的評價維度比較全面,時效性也非常高,評價方式也非常開放,而且使用網(wǎng)絡(luò)評價的方式也可以允許所有人發(fā)表影評,而不局限于之前極少量專業(yè)人士的影評。大家通過參考這些影評可以選擇自己喜歡的電影,減少篩選電影的成本,能夠快速、高效、便捷地選擇出自己想看的電影。本文首先闡述了項目的背景以及國內(nèi)外現(xiàn)狀,對整個系統(tǒng)進行功能性和非功能性需求分析。根據(jù)需求分析設(shè)計系統(tǒng)架構(gòu)、劃分系統(tǒng)功能模塊、設(shè)計系統(tǒng)數(shù)據(jù)庫,并對系統(tǒng)進行詳細設(shè)計與實現(xiàn)。作者獨立完成了社區(qū)、榜單、會員中心、反爬蟲功能模塊的設(shè)計與實現(xiàn),并參與了其它模塊的部分工作。其中反爬蟲模塊是對已存在的反爬蟲技術(shù)進行了改進,提高了反爬的精度和速度,進一步保證了系統(tǒng)的安全。反爬模塊主要是通過收集系統(tǒng)的請求數(shù)據(jù),拆解請求數(shù)據(jù)為特征,模型評估后選擇極端梯度提升算法進行特征轉(zhuǎn)化,使用邏輯回歸算法完成爬蟲判斷,并且根據(jù)數(shù)據(jù)的累積及爬蟲技術(shù)的升級而不斷優(yōu)化反爬蟲模型。本系統(tǒng)采用Zookeeper框架、Thrift框架實現(xiàn)微服務(wù)管理,這樣能保證系統(tǒng)功能模塊獨立,降低各模塊之間的耦合度,并且能保證系統(tǒng)高可用。同時通過Spark計算定期更新熱度榜、口碑榜和人物榜,使用戶可以更便捷的看到近期最熱門或評價最好的電影,節(jié)省用戶挑選電影的時間。數(shù)據(jù)存儲使用Mysql數(shù)據(jù)庫、Hive文件系統(tǒng),緩存使用Redis集群。目前,本文所提及的系統(tǒng)已經(jīng)開發(fā)完畢,并成功上線。影評系統(tǒng)運行狀況穩(wěn)定,滿足用戶的需求和公司的期望。
【圖文】:
評論電影:用戶可對觀看過的電影進行評論,表達自己的觀點。逡逑搜索電影:用戶可以搜索電影,系統(tǒng)展示相關(guān)的電影評論或者話題。逡逑點贊評論:瀏覽影評的用戶若覺得影評非常精彩,很贊同作者的觀點,,逡逑擊頁面中的贊按鈕,這個功能可以免去用戶用文字的形式發(fā)表評論,采逡逑擊評論中的點贊按鈕來表達用戶對此評論的看法,系統(tǒng)將點贊數(shù)統(tǒng)計并逡逑。點贊的功能與評論相似,但相對于評論來說操作更方便。逡逑分享評論或話題:用戶可以對精彩或感興趣的影評、話題進行分享,可逡逑微博、QQ空間、微信朋友圈等平臺。逡逑收藏話題:用戶可以在話題頁對話題進行收藏,方便隨時查閱,該話題逡逑,可以在“會員中心”中查看。逡逑發(fā)布話題:用戶可發(fā)布一個話題帖子,發(fā)布時需選擇話題所屬的標簽,逡逑上傳圖片作為補充說明。逡逑舉報:對發(fā)表的侮辱性或包含敏感詞匯的話題或者回復(fù)實行全民舉報,逡逑個用戶看到,都可以進行舉報。逡逑
.2.2邐榜單功能需求分析逡逑圖3-3是榜單功能用例圖,有些用戶想要獲知最熱門、口碑最好的電影或者最逡逑討論比較多的人物信息,本系統(tǒng)的熱度榜、口碑榜、人物榜可以滿足用戶需求,逡逑且這些榜單會定時更新,以確保數(shù)據(jù)的時效性,為用戶提供權(quán)威榜單,幫助用逡逑戶更快捷的選擇出想看的優(yōu)質(zhì)電影。用戶可進行以下操作:逡逑(1)查看排名變化:用戶可在熱度榜、口碑榜頁面查看電影的昨天與今天的逡逑名變化、歷史最高排名等信息。逡逑(2)查看參與人數(shù):在口碑榜和人物榜頁面查看每個電影或人物參的與的用逡逑數(shù)、分數(shù)。逡逑(3)查看詳情:用戶在熱度榜和口碑榜頁面點擊某一個電影后,可以進入到逡逑影的詳情頁面,包括導(dǎo)演、演員、評論、分數(shù)、圖片、預(yù)告片等信息;在人物逡逑頁面點擊某一人物時,可以看到該人物的個人檔案、作品、榮譽成就、圖片、逡逑頻、評論、打分等信息。逡逑(4)分享榜單:用戶可對熱度榜、口碑榜、人物榜進行分享操作。逡逑
【學(xué)位授予單位】:北京交通大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2019
【分類號】:TP311.52;J943
本文編號:2682365
【圖文】:
評論電影:用戶可對觀看過的電影進行評論,表達自己的觀點。逡逑搜索電影:用戶可以搜索電影,系統(tǒng)展示相關(guān)的電影評論或者話題。逡逑點贊評論:瀏覽影評的用戶若覺得影評非常精彩,很贊同作者的觀點,,逡逑擊頁面中的贊按鈕,這個功能可以免去用戶用文字的形式發(fā)表評論,采逡逑擊評論中的點贊按鈕來表達用戶對此評論的看法,系統(tǒng)將點贊數(shù)統(tǒng)計并逡逑。點贊的功能與評論相似,但相對于評論來說操作更方便。逡逑分享評論或話題:用戶可以對精彩或感興趣的影評、話題進行分享,可逡逑微博、QQ空間、微信朋友圈等平臺。逡逑收藏話題:用戶可以在話題頁對話題進行收藏,方便隨時查閱,該話題逡逑,可以在“會員中心”中查看。逡逑發(fā)布話題:用戶可發(fā)布一個話題帖子,發(fā)布時需選擇話題所屬的標簽,逡逑上傳圖片作為補充說明。逡逑舉報:對發(fā)表的侮辱性或包含敏感詞匯的話題或者回復(fù)實行全民舉報,逡逑個用戶看到,都可以進行舉報。逡逑
.2.2邐榜單功能需求分析逡逑圖3-3是榜單功能用例圖,有些用戶想要獲知最熱門、口碑最好的電影或者最逡逑討論比較多的人物信息,本系統(tǒng)的熱度榜、口碑榜、人物榜可以滿足用戶需求,逡逑且這些榜單會定時更新,以確保數(shù)據(jù)的時效性,為用戶提供權(quán)威榜單,幫助用逡逑戶更快捷的選擇出想看的優(yōu)質(zhì)電影。用戶可進行以下操作:逡逑(1)查看排名變化:用戶可在熱度榜、口碑榜頁面查看電影的昨天與今天的逡逑名變化、歷史最高排名等信息。逡逑(2)查看參與人數(shù):在口碑榜和人物榜頁面查看每個電影或人物參的與的用逡逑數(shù)、分數(shù)。逡逑(3)查看詳情:用戶在熱度榜和口碑榜頁面點擊某一個電影后,可以進入到逡逑影的詳情頁面,包括導(dǎo)演、演員、評論、分數(shù)、圖片、預(yù)告片等信息;在人物逡逑頁面點擊某一人物時,可以看到該人物的個人檔案、作品、榮譽成就、圖片、逡逑頻、評論、打分等信息。逡逑(4)分享榜單:用戶可對熱度榜、口碑榜、人物榜進行分享操作。逡逑
【學(xué)位授予單位】:北京交通大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2019
【分類號】:TP311.52;J943
【參考文獻】
相關(guān)期刊論文 前3條
1 黃宏義;;對新媒體“豆瓣網(wǎng)”的發(fā)展現(xiàn)狀剖析[J];新聞傳播;2011年02期
2 袁緒峰;;基于Spring框架的AOP編程[J];計算機與現(xiàn)代化;2006年01期
3 王國軍;多元線性回歸中的預(yù)測影響函數(shù)[J];江蘇理工大學(xué)學(xué)報;1995年01期
本文編號:2682365
本文鏈接:http://www.wukwdryxk.cn/wenyilunwen/dianyingdianshilunwen/2682365.html