阿里云國(guó)際站經(jīng)銷(xiāo)商，主營(yíng)阿里云，騰訊云，華為云，亞馬遜aws，谷歌云gcp,微軟云az，免費(fèi)開(kāi)戶(hù)，代充值優(yōu)惠大，聯(lián)系客服飛機(jī)@jkkddd
通過(guò)ES-Hadoop將HDFS中的數(shù)據(jù)寫(xiě)入Elasticsearch
操作流程準(zhǔn)備工作
創(chuàng)建同一專(zhuān)有網(wǎng)絡(luò)下的阿里云Elasticsearch和E-MapReduce（以下簡(jiǎn)稱(chēng)EMR）實(shí)例、開(kāi)啟Elasticsearch實(shí)例的自動(dòng)創(chuàng)建索引功能、準(zhǔn)備測(cè)試數(shù)據(jù)和Java環(huán)境。
步驟一：上傳ES-Hadoop JAR包至HDFS
下載ES-Hadoop安裝包，并上傳至EMR Master節(jié)點(diǎn)的HDFS目錄下。
步驟二：配置pom依賴(lài)
創(chuàng)建Java Maven工程，并配置pom依賴(lài)。
步驟三：編寫(xiě)并運(yùn)行MapReduce任務(wù)
編寫(xiě)MapReduce寫(xiě)數(shù)據(jù)到Elasticsearch的Java代碼，并打成Jar包上傳至EMR集群，最后運(yùn)行代碼完成寫(xiě)數(shù)據(jù)任務(wù)。
步驟四：驗(yàn)證結(jié)果
在Elasticsearch的Kibana控制臺(tái)上，查看通過(guò)MapReduce寫(xiě)入的數(shù)據(jù)。
步驟一：上傳ES-Hadoop JAR包至HDFS
下載ES-Hadoop安裝包，其版本需要與Elasticsearch實(shí)例保持一致。
本文使用elasticsearch-hadoop-6.7.0.zip。
登錄E-MapReduce控制臺(tái)，獲取Master節(jié)點(diǎn)的IP地址，并通過(guò)SSH登錄對(duì)應(yīng)的ECS機(jī)器。
具體操作步驟請(qǐng)參見(jiàn)登錄集群。
將已下載的elasticsearch-hadoop-6.7.0.zip上傳至Master節(jié)點(diǎn)，并解壓獲得elasticsearch-hadoop-6.7.0.jar。
創(chuàng)建HDFS目錄，將elasticsearch-hadoop-6.7.0.jar上傳至該目錄下。
步驟二：配置pom依賴(lài)
創(chuàng)建Java Maven工程，并將如下的pom依賴(lài)添加到Java工程的pom.xml文件中
步驟三：編寫(xiě)并運(yùn)行MapReduce任務(wù)
編寫(xiě)示例代碼。
以下代碼會(huì)讀取HDFS上/tmp/hadoop-es目錄下的JSON文件，并將這些JSON文件中的每一行作為一個(gè)文檔寫(xiě)入Elasticsearch。寫(xiě)入過(guò)程由EsOutputFormat在Map階段完成。
步驟四：驗(yàn)證結(jié)果
登錄對(duì)應(yīng)阿里云Elasticsearch實(shí)例的Kibana控制臺(tái)。
具體操作步驟請(qǐng)參見(jiàn)登錄Kibana控制臺(tái)。
在左側(cè)導(dǎo)航欄，單擊Dev Tools。
在Console頁(yè)簽下，執(zhí)行以下命令，查看通過(guò)MapReduce任務(wù)寫(xiě)入的數(shù)據(jù)。
心靈雞湯：
標(biāo)題：阿里云賬號(hào)開(kāi)戶(hù)，阿里云國(guó)際代理商
地址：http://m.nickbaillie.com/kfxw/64143.html
