摘要:互聯網的迅猛發展以及大數據相關技術的興起，使得日志數據的規模呈爆炸式增長，給已有的日志采集及分析系統帶來了挑戰。如何有效地收集并分析這些日志已經成為了這一領域的熱點，所以設計一款可擴展、高容錯的分布式日志收集系統是時下一個非常重要的研究課題。

本文基于開源的分布式日志Apache Flume，主要介紹了日志收集系統的設計與實現過程。此系統主要包括了服務器上的日志生成、使用Flume進行日志收集、將日志數據存儲至數據庫中。首先，本文介紹了此系統主要的基本理論基礎以及運行此系統所需要的環境配置。然后，文章分析了設計這一系統的需求和流程定義，并設計和分析主要的Flume配置。最后，本文介紹了系統的主要實現過程，并設計出一個生成日志數據的小程序對系統進行了測試與調試，提出改進方向。

關鍵詞 apache flume；日志收集；分布式；java

目錄

摘要

Abstract

1 緒論-1

1.1 課題的研究背景及意義-1

1.2 國內外的研究現狀-1

1.3 文章主要的設計內容及思路-1

1.4 論文的主要結構安排-2

2 相關的理論及主要技術-3

2.1 Flume-3

2.2 虛擬機VMware Workstation 12 Pro-4

2.3 Linux-5

3 系統的需求分析及系統設計-7

3.1 需求分析-7

3.2 可行性分析-7

3.3 Java環境設置-7

3.4 系統設計-8

3.4.1 日志收集數據流程定義-8

3.4.2 服務器中Flume的配置-9

4 系統實現-10

4.1日志收集系統flume的實現-11

4.2 系統實現流程-12

5 系統的調試與測試-12

5.1 測試方案-13

5.2 系統結果測試-14

5.3 問題與改進-15

結論-15

致謝-16

參考文獻-17

附錄-18

附錄1 flume的配置-19

附錄2 測試數據生成程序-20

附錄3 配置程序-21