摘要：從2012年開始,Web2.0的發展更是突飛猛進，中國網民的參與度和活躍性呈現爆炸式增長，這一情況的出現，與一種新媒體形態的誕生不無關系—微博。新浪微博平臺提供一些數據接口（API）供研究人員獲取研究數據，API使數據的獲取不再難，但是API對用戶權限和獲取頻率做出了一些限制，這也使研究者對微博內容的搜索難度大大增加。對此，本文提供了一種基于Java語言的新浪微博網絡爬蟲，方便新浪微博數據獲取。

基于Java爬蟲的新浪微博數據分析系統，采用Java語言編寫爬蟲，在Windows8系統環境下以IntelliJ-IDEA為開發工具，采用現在流行的Springboot全新框架去簡化應用的初始搭建和開發過程，程序通過爬蟲模擬登陸網頁版新浪微博獲取相關數據，通過定時任務解決單IP爬取數據限制，并將爬取的數據保存在本地Mysql數據庫中。本文以山東魯能足球隊新浪微博為研究對象，爬取隊員微博數據，并進行進一步分析，最終結果采用Html與Echarts結合的網頁呈現數據結果。

經過測試，本系統可以有效爬取新浪微博數據，并將數據存入本地數據庫Mysql。與以往以Python爬蟲不同，本系統采用Java爬蟲，通過定時任務解決單IP爬取數據限制，使研究者可以更方便、更高效的利用新浪微博官方API。本系統也通過魯能足球隊球員的新浪微博數據進行了更深的分析，分析出球員的粉絲是否存在網絡水軍的現象以及球員粉絲還關注其他那些熱點博客。

關鍵詞：Java爬蟲,Mysql5.7,Springboot,Echarts

目錄

摘要

ABSTRACT

第1章 前言- 1 -

1.1研究背景- 1 -

1.2國內外研究現狀- 1 -

1.3研究目的和意義- 1 -

1.3.1研究目的- 1 -

1.3.2研究意義- 2 -

1.4全文組織結構- 2 -

第2章 基于Java爬蟲新浪微博數據分析系統數據獲取與存儲- 3 -

2.1Java爬蟲的設計- 3 -

2.2數據的獲取- 4 -

2.1.1微博內容獲取- 4 -

2.1.2用戶關系獲取- 6 -

2.3數據庫的設計- 6 -

第3章 新浪微博數據分析系統的設計- 8 -

3.1新浪微博數據分析系統的設計- 8 -

3.1.1爬取數據的分析- 8 -

3.1.2數據分析結果的呈現- 8 -

3.1.3魯能足球隊實例分析方法以及結果- 9 -

第4章 系統實現- 13 -

4.1主要界面設計- 13 -

第5章 基于Java爬蟲的微博數據分析系統測試- 16 -

5.1數據接口的穩定測試- 16 -

5.2總體功能測試- 19 -

第6章 總結與展望- 24 -

6.1總結- 24 -

6.2 展望- 24 -

附 錄- 25 -

參 考 文 獻- 27 -

致  謝- 28 -