摘要:遺傳算法越來越被應(yīng)用于處理大規(guī)模數(shù)據(jù)問題，但是傳統(tǒng)的基于MPI的遺傳算法表現(xiàn)的并不是太好，MapReduce是谷歌用來處理大規(guī)模數(shù)據(jù)而開發(fā)的一種強大而高容錯的算法模型。在這篇論文中，我們通過使用MapReduce模式來重新實現(xiàn)遺傳算法。我們通過MapReduce的開源實現(xiàn)hadoop，將傳統(tǒng)的遺傳算法利用MapReduce，部署在其Hdfs上。我們測試了少于150種的變異問題，相信通過更大的集群我們能夠處理更大規(guī)模的數(shù)據(jù)。

關(guān)鍵詞 hadoop；hdfs；mapreduce；遺傳算法

目錄

摘要

Abstract

1 緒論-3

1.1項目研究的背景-3

1.1.1 hadoop產(chǎn)生背景以及發(fā)展?fàn)顩r-3

1.1.2 遺傳算法研究背景-4

1.2項目研究的意義-4

2云計算技術(shù)-6

2.1 Linux相關(guān)操作基礎(chǔ)-6

2.1.1 Linux操作系統(tǒng)的基礎(chǔ)概念-6

2.1.2 Linux命令-6

2.2云計算的概念與發(fā)展?fàn)顩r-7

2.2.1云計算的概念-7

2.2.2云計算的發(fā)展-7

2.3谷歌云計算-8

2.3.1 Google云計算技術(shù)架構(gòu)-8

2.3.2  Google云計算的關(guān)鍵技術(shù)-9

2.3.3  google云計算的平臺-----Google App Engine-10

2.4 Hadoop：Google云計算的開源實現(xiàn)-12

2.4.1 Hadoop簡介-12

2.4.2  HDFS-14

2.4.3 MapReduce-20

3 遺傳算法-22

3.1基本概念-22

3.2遺傳算法定義-22

3.3遺傳算法特點-23

3.4遺傳算法的應(yīng)用-23

3.4.1函數(shù)優(yōu)化-23

3.4.2組合優(yōu)化-24

3.5遺傳運算-24

3.5.1遺傳運算算法描述-24

3.5.2運算過程-24

4 hadoop集群搭建-28

4.1 linux下集群搭建-28

4.1.1安裝相關(guān)軟件-28

4.1.2安裝步驟-29

4.2windows下集群搭建-36

4.2.1安裝相關(guān)軟件-36

4.2.2安裝步驟-37

4.2.3注意事項-43

5 hadoop的遺傳實現(xiàn)-44

5.1簡單函數(shù)的遺傳實現(xiàn)-44

5.1.1 MapReduce程序設(shè)計過程-44

5.1.2 運行環(huán)境-45

5.1.3  簡單函數(shù)的hadoop尋優(yōu)-45

5.1.3  復(fù)雜函數(shù)的hadoop尋優(yōu)-48

結(jié)論-51

致謝-52

參考文獻(xiàn)-53