摘要：為幫助大學生，社會從業人員了解當前市場的就業環境和社會對人才的需求，也為幫助大學生更好的就業擇業，使得大學生在學校中能夠及時了解社會的職位情況，以便及時的學習相應的知識為就業提供支撐，但是目前互聯網沒有一款產品能夠實時有效的反映出社會中的職位變化以供參考。因此，基于python分布式爬蟲的全國招聘數據分析平臺應運而生。

該平臺采用B/S模式，基于python開發。借助Python 完成招聘數據的爬取和清洗；依靠Elasticsearch數據搜索分析服務，完成對百萬級招聘數據的聚合統計等操作；通過python的Flask框架完成webAPI，使用阿里云服務DataV完成網頁的編寫及簡單的用戶交互體驗；使用阿里云服務器ECS實例完成云上環境的部署；綜合運用各種技術來增強用戶體驗效果。平臺采用python實時爬蟲自動解析網頁數據入庫，自動完成實時數據分析，實時渲染數據可視化大屏，達到一目了然，數據實時有效，視覺沖擊力震撼的數據平臺效果[123]。

借助瀏覽器，教師可以了解社會招聘職位需求變化，學生了解社會嚴峻的就業形勢，針對性的補充自己的理論知識和實踐能力，對自己的學業一定的知指導作用。系統可以較好,全面的展示社會職位的分布和變化，數據可視化大屏滿足基本的數據分析圖表。

關鍵詞：python爬蟲；數據清洗；Elasticsearch存儲分析；數據可視化

目錄

摘要

ABSTRACT

第1章 前言-4

1.1課題研究背景-4

1.2國內外研究現狀-4

1.3平臺開發模式與運行環境-4

1.3.1 B/S模式-4

1.3.2 開發與運行環境-5

1.4課題研究內容-5

1.5課題研究目的與意義-5

1.5.1 研究目的-5

1.5.2 研究意義-5

1.6全文組織結構-6

第2章 招聘數據分析平臺的系統分析-7

2.1可行性分析-7

2.2系統需求調研-7

2.3系統架構分析-7

2.3.1 系統瓶頸分析-7

2.3.1 系統架構圖-8

2.4系統需求分析-8

2.4.1功能需求分析-8

2.4.2非功能性需求分析-10

第3章 招聘數據分析平臺的設計-11

3.1系統架構層次設計-11

3.2數據庫設計-11

3.2.1概念設計-11

3.4 代碼框架設計-14

3.4.1 爬蟲代碼設計-14

3.4.2 數據分析及可視化API設計-15

第4章 招聘數據分析平臺的實現-17

4.1主要功能模塊的實現-17

4.2 數據分析圖表解讀-20

4.3數據分析不足-20

4.3小結-20

第5章 招聘數據分析平臺的測試-21

第6章 總結與展望-25

6.1 總結-25

6.2 展望-25

附-錄-26

參 考 文 獻-

致  謝