阿里云国际站经销商,主营阿里云,腾讯云,华为云,亚马逊aws,谷歌云gcp,微软云az,免费开户,代充值优惠大,联系客服飞机@jkkddd
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
准备工作创建同一专有网络下的阿里云Elasticsearch和E-MapReduce(以下简称EMR)实例、关闭Elasticsearch实例的自动创建索引功能并创建索引和Mapping、下载与Elasticsearch实例版本一致的ES-Hadoop安装包。
步骤一:上传ES-Hadoop JAR包至HDFS
将已下载的ES-Hadoop安装包上传至EMR Master节点的HDFS目录下。
步骤二:创建Hive外表
创建Hive外表,与Elasticsearch索引中的字段进行映射。
步骤三:通过Hive写入索引数据
通过HiveSQL,向Elasticsearch实例的索引中写入数据。
步骤四:通过Hive读取索引数据
通过HiveSQL,读取Elasticsearch实例中的索引数据。
步骤一:上传ES-Hadoop JAR包至HDFS
下载ES-Hadoop安装包,其版本需要与Elasticsearch实例保持一致。
本文使用elasticsearch-hadoop-6.7.0.zip。
登录E-MapReduce控制台,获取Master节点的IP地址,并通过SSH登录对应的ECS机器。
具体操作步骤请参见登录集群。
将已下载的elasticsearch-hadoop-6.7.0.zip上传至Master节点,并解压获得elasticsearch-hadoop-hive-6.7.0.jar。
创建HDFS目录,将elasticsearch-hadoop-hive-6.7.0.jar上传至该目录下。
步骤二:创建Hive外表
在EMR控制台的数据开发模块中,创建HiveSQL类型的作业。
具体操作步骤请参见Hive SQL作业配置。
温馨提示:尊敬的[]站点管理员,将本页链接加入您的网站友情链接,下次可以快速来到这里更新您的站点信息哦!每天更新您的[阿里云24h自助充值,免费开户]站点信息,可以排到首页最前端的位置,让更多人看到您的网站信息哦。
将以下代码插入您网页中,让网友帮您更新网站每日SEO综合情况
-
中药现代化要走植提路 -
陈冲 靠地道中药材的数量,连十三亿中国人民的健康需求都不能满足,更别谈七十亿世界人民的需求,所以不能局限于地道;采用植提的技术,工艺把中药的有效组分重组,达到中药成
-
石家庄书法研修班哪个好 -
石家庄书法研修班哪个好的营销,及贵校的课程设置有哪些呢?下面在职研究生教育信息网胥老师为大家接单介绍一下。 1、教学需求有档案馆是研修班的教学系统之一,近年来,在全国范围
-
“木瓜移动回复上交所首轮问询 拟登科创板在即” -
宣传片制作公司 前几天,申请科技创板的公司相继回答了上海证券交易所的第一次咨询,和咨询文案一样,公司的回答也备受市场关注。 在众多申请科技创板的公司中,木瓜移动作为
-
日立实验室离心机的常见故障与解决方案 -
据用户反映有台日立离心机开机报错E71故障代码,根据内部代码内容解释,E71是不平衡故障,工程师到现场以后检查离心机的平衡度,确定没有问题以后再检测电机平衡度,电机平衡度
-
特斯林面料有哪些优势? -
特斯林面料指的是利用特斯林制成的一种底料,利用它能够制成很多种产品。特斯林并不是单纯的纺织材料,因为它在制作的过程中,加入了pvc/pet皮芯型纱线,因此成品的特斯林面料性
-
在线水质监测怎么做?国内有哪些好的水质监测服务厂商? -
在线水质监测怎么做?国内有哪些好的水质监测服务厂商? 水质监测在我国的起步比较早,科技兴起之初便有人开始做 水质监测和预警 体系建设,目前我国已经在多个重点流域建立起