1. 全栈程序员必看首页

hive的元数据存储在derby和mysql_桌面云必须部署的组件包括

全栈程序员-站长 • • 未分类 • 阅读 2

hive的元数据存储在derby和mysql_桌面云必须部署的组件包括搭建hive的环境需要hadoop的dfs和yarn可以正常运行的情况下。准备好apache-hive-1.2.1-bin.tar.gz和mysql-libs.zip两个包hive安装步骤：解压apache-hive-1.2.1-bin.tar.gz到/usr/local/src下，并且将其重命名为hivetar-zxvfapache-hive-1.2.1-bin.tar.gzmvapache-hive-1.2.1-binhive复制/hive/conf下的hive-en.

大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46，售后保障稳定

在这里插入图片描述

??‍?博主介绍：大家好，我是芝士味的椒盐，一名在校大学生，热爱分享知识，很高兴在这里认识大家?
?擅长领域：Java、大数据、运维、电子
??如果本文章各位小伙伴们有帮助的话，?关注+??点赞+?评论+?收藏，相应的有空了我也会回访，互助！！！
?另本人水平有限，旨在创作简单易懂的文章，在文章描述时如有错，恳请各位大佬指正，在此感谢！！！

文章目录

  • 搭建hive的环境需要hadoop的dfs和yarn可以正常运行的情况下。
  • 准备好apache-hive-1.2.1-bin.tar.gz和mysql-libs.zip两个包

hive安装

  1. 解压apache-hive-1.2.1-bin.tar.gz 到/usr/local/src下，并且将其重命名为hive

    tar -zxvf apache-hive-1.2.1-bin.tar.gz
mv apache-hive-1.2.1-bin hive

    Jetbrains全家桶1年46，售后保障稳定

  2. 复制/hive/conf下的hive-env.sh.template模板并重命名为hive-env.sh

    cp hive-env.sh.template hive-env.sh

  3. 在重命名的hive-env.sh里配置参数

    export HADOOP_HOME=/usr/local/src/hadoop
export HIVE_HOME=/usr/local/src/hive/conf

  4. 修改/usr/local/src/hive/bin下的hive脚本

    # add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" ]]
then
#如果装有spark需要指定Spark目录下的jars目录下的所有的jar包
  sparkAssemblyPath=`ls ${ 
      SPARK_HOME}/jars/*.jar`
  CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi
    • 否则启动hive将报如下错误

    提示ls: 无法访问/home/software/spark-2.0.1-bin-hadoop2.7/lib/spark-assembly-*.jar: 没有那个文件或目录...

  5. 启动hadoop的hdfs和yarn

    start-dfs.sh
start-yarn.sh

  6. 在hdfs上创建tmp和/user/hive/warehouse两个目录，修改为同组可读

    #创建文件夹
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/hive/warehouse
#赋予文件夹权限
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

  7. 将hive下的jline-2.12.jar 复制替换hadoop中的jline-2.12.jar

    cp /usr/local/src/hive/lib/jline-2.12.jar /usr/local/src/hadoop/share/hadoop/yarn/lib/
rm jline-2.12.jar -rf
    • 否则启动hive会报如下错误

    Exception in thread "main" java.lang.IncompatibleClassChangeError: Found class jline.Termina

hive启动并测试

  1. 启动hive并测试查询

    #在配了环境变量bin的情况下才能使用
hive

    • 查看数据库

      hive> show databases;

    • 选择默认数据库

      hive> use default;

    • 显示默认数据库中的表

      hive> show tables;
      • TIPS:hive在hdfs中的结构

        • 数据库：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹

        • 表：在hdfs中表现所属db目录下一个文件夹，文件夹中存放该表中的具体数据

        • 如果使用Metastore自带的derby数据库，在已经有一个对话的时候再打开一个对话将报错

          Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate

          • 原因：推荐MySQL存储Metastore元数据，替换默认的Derby数据库
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/230736.html原文链接：https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长
0 0


相关推荐

  • 入Silverlight QQ群者必读「建议收藏」

    入Silverlight QQ群者必读「建议收藏」

    入Silverlight QQ群者必读「建议收藏」建立本技术群的目的，是为拥有共同爱好的你们提供一个交流平台，我们在此相约同游，共同分享彼此的Silverlight与WPF开发技术心得经验，当然也可以讲饮讲食，一起FB……希望各群友可以相互尊重,文明上网，将本群建成一个和谐的大家庭。         正所谓国有国法、群有群规！希望大家配合遵守！           1.严禁攻击人身的言论；在群中公然侮辱他人、捏造事实诽谤他人、对他人进

    全栈程序员-站长的头像 全栈程序员-站长
    2022年7月17日
    12
  • 用计算机最炫民族风乐谱,最炫民族风简谱「建议收藏」

    用计算机最炫民族风乐谱,最炫民族风简谱「建议收藏」

    用计算机最炫民族风乐谱,最炫民族风简谱「建议收藏」最炫民族风苍茫的天涯是我的爱绵绵的青山脚下花正开什么样的节奏是最呀最摇摆什么样的歌声才是最开怀弯弯的河水从天上来流向那万紫千红一片海火辣辣的歌谣是我们的期待一路边走边唱才是最自在我们要唱就要唱得最痛快你是我天边最美的云彩让我用心把你留下来(留下来)悠悠的唱着最炫的民族风让爱卷走所有的尘埃(我知道)你是我心中最美的云彩斟满美酒让你留下来(留下来)永远都唱着最炫的民族风是整片天空最美的姿态(留下…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年9月23日
    4
  • TagMaster、Watry合作开发RFID智能停车系统

    TagMaster、Watry合作开发RFID智能停车系统

    TagMaster、Watry合作开发RFID智能停车系统

    全栈程序员-站长的头像 全栈程序员-站长
    2022年3月7日
    33
  • 实用技巧——小问题的一些解决办法

    实用技巧——小问题的一些解决办法

    收集一些遇到的小问题，并分享解决方案！

    全栈程序员-站长的头像 全栈程序员-站长
    2022年2月25日
    52
  • js 生成二维码并点击下载软件_js生成二维码并保存

    js 生成二维码并点击下载软件_js生成二维码并保存

    js 生成二维码并点击下载软件_js生成二维码并保存html部分<h1>文字生成二维码及生成可下载的图片</h1><div><inputid=”input”value=”http://www.baidu.com”type=”text”><buttontype=”button”onclick=”refresh()”>生出来</button></div><divid=”output”><!–这里放canvas格式的二维

    全栈程序员-站长的头像 全栈程序员-站长
    2022年10月18日
    2
  • partial conflict_conditional tense

    partial conflict_conditional tense

    partial conflict_conditional tenseTableofContents定制FilterCell1.引言1.1.定制Droplist过滤器Cell示例定制FilterRowsCallback1.引言1.1.定制FilterRowsCallback示例Form指南1.引言1.1.JSP1.1.1.Form特性的技术说明1.1.2.Checkbox1.1.3.CustomCell1.1.4.

    全栈程序员-站长的头像 全栈程序员-站长
    2022年8月20日
    6

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号