阿里云國(guó)際站經(jīng)銷商，主營(yíng)阿里云，騰訊云，華為云，亞馬遜aws，谷歌云gcp,微軟云az，免費(fèi)開戶，代充值優(yōu)惠大，聯(lián)系客服飛機(jī)@jkkddd
通過(guò)ES-Hadoop實(shí)現(xiàn)Hive讀寫阿里云Elasticsearch數(shù)據(jù)
準(zhǔn)備工作創(chuàng)建同一專有網(wǎng)絡(luò)下的阿里云Elasticsearch和E-MapReduce（以下簡(jiǎn)稱EMR）實(shí)例、關(guān)閉Elasticsearch實(shí)例的自動(dòng)創(chuàng)建索引功能并創(chuàng)建索引和Mapping、下載與Elasticsearch實(shí)例版本一致的ES-Hadoop安裝包。
步驟一：上傳ES-Hadoop JAR包至HDFS
將已下載的ES-Hadoop安裝包上傳至EMR Master節(jié)點(diǎn)的HDFS目錄下。
步驟二：創(chuàng)建Hive外表
創(chuàng)建Hive外表，與Elasticsearch索引中的字段進(jìn)行映射。
步驟三：通過(guò)Hive寫入索引數(shù)據(jù)
通過(guò)HiveSQL，向Elasticsearch實(shí)例的索引中寫入數(shù)據(jù)。
步驟四：通過(guò)Hive讀取索引數(shù)據(jù)
通過(guò)HiveSQL，讀取Elasticsearch實(shí)例中的索引數(shù)據(jù)。
步驟一：上傳ES-Hadoop JAR包至HDFS
下載ES-Hadoop安裝包，其版本需要與Elasticsearch實(shí)例保持一致。
本文使用elasticsearch-hadoop-6.7.0.zip。
登錄E-MapReduce控制臺(tái)，獲取Master節(jié)點(diǎn)的IP地址，并通過(guò)SSH登錄對(duì)應(yīng)的ECS機(jī)器。
具體操作步驟請(qǐng)參見登錄集群。
將已下載的elasticsearch-hadoop-6.7.0.zip上傳至Master節(jié)點(diǎn)，并解壓獲得elasticsearch-hadoop-hive-6.7.0.jar。
創(chuàng)建HDFS目錄，將elasticsearch-hadoop-hive-6.7.0.jar上傳至該目錄下。
步驟二：創(chuàng)建Hive外表
在EMR控制臺(tái)的數(shù)據(jù)開發(fā)模塊中，創(chuàng)建HiveSQL類型的作業(yè)。
具體操作步驟請(qǐng)參見Hive SQL作業(yè)配置。
心靈雞湯：
標(biāo)題：阿里云24h自助充值，免費(fèi)開戶
地址：http://m.nickbaillie.com/kfxw/64142.html
