1. 全栈程序员必看首页

hive的元数据存储在derby和mysql_桌面云必须部署的组件包括

全栈程序员-站长 • • 未分类 • 阅读 4

hive的元数据存储在derby和mysql_桌面云必须部署的组件包括搭建hive的环境需要hadoop的dfs和yarn可以正常运行的情况下。准备好apache-hive-1.2.1-bin.tar.gz和mysql-libs.zip两个包hive安装步骤：解压apache-hive-1.2.1-bin.tar.gz到/usr/local/src下，并且将其重命名为hivetar-zxvfapache-hive-1.2.1-bin.tar.gzmvapache-hive-1.2.1-binhive复制/hive/conf下的hive-en.

大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46，售后保障稳定

在这里插入图片描述

??‍?博主介绍：大家好，我是芝士味的椒盐，一名在校大学生，热爱分享知识，很高兴在这里认识大家?
?擅长领域：Java、大数据、运维、电子
??如果本文章各位小伙伴们有帮助的话，?关注+??点赞+?评论+?收藏，相应的有空了我也会回访，互助！！！
?另本人水平有限，旨在创作简单易懂的文章，在文章描述时如有错，恳请各位大佬指正，在此感谢！！！

文章目录

  • 搭建hive的环境需要hadoop的dfs和yarn可以正常运行的情况下。
  • 准备好apache-hive-1.2.1-bin.tar.gz和mysql-libs.zip两个包

hive安装

  1. 解压apache-hive-1.2.1-bin.tar.gz 到/usr/local/src下，并且将其重命名为hive

    tar -zxvf apache-hive-1.2.1-bin.tar.gz
mv apache-hive-1.2.1-bin hive

    Jetbrains全家桶1年46，售后保障稳定

  2. 复制/hive/conf下的hive-env.sh.template模板并重命名为hive-env.sh

    cp hive-env.sh.template hive-env.sh

  3. 在重命名的hive-env.sh里配置参数

    export HADOOP_HOME=/usr/local/src/hadoop
export HIVE_HOME=/usr/local/src/hive/conf

  4. 修改/usr/local/src/hive/bin下的hive脚本

    # add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" ]]
then
#如果装有spark需要指定Spark目录下的jars目录下的所有的jar包
  sparkAssemblyPath=`ls ${ 
      SPARK_HOME}/jars/*.jar`
  CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi
    • 否则启动hive将报如下错误

    提示ls: 无法访问/home/software/spark-2.0.1-bin-hadoop2.7/lib/spark-assembly-*.jar: 没有那个文件或目录...

  5. 启动hadoop的hdfs和yarn

    start-dfs.sh
start-yarn.sh

  6. 在hdfs上创建tmp和/user/hive/warehouse两个目录，修改为同组可读

    #创建文件夹
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/hive/warehouse
#赋予文件夹权限
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

  7. 将hive下的jline-2.12.jar 复制替换hadoop中的jline-2.12.jar

    cp /usr/local/src/hive/lib/jline-2.12.jar /usr/local/src/hadoop/share/hadoop/yarn/lib/
rm jline-2.12.jar -rf
    • 否则启动hive会报如下错误

    Exception in thread "main" java.lang.IncompatibleClassChangeError: Found class jline.Termina

hive启动并测试

  1. 启动hive并测试查询

    #在配了环境变量bin的情况下才能使用
hive

    • 查看数据库

      hive> show databases;

    • 选择默认数据库

      hive> use default;

    • 显示默认数据库中的表

      hive> show tables;
      • TIPS:hive在hdfs中的结构

        • 数据库：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹

        • 表：在hdfs中表现所属db目录下一个文件夹，文件夹中存放该表中的具体数据

        • 如果使用Metastore自带的derby数据库，在已经有一个对话的时候再打开一个对话将报错

          Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate

          • 原因：推荐MySQL存储Metastore元数据，替换默认的Derby数据库
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/230736.html原文链接：https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长
0 0


相关推荐

  • Java的泛型

    Java的泛型

    Java的泛型使用Java的小伙伴，对于Java的一些高级特性一定再熟悉不过了，例如集合、反射、泛型、注解等等，这些可以说我们在平时开发中是经常使用到的，尤其是集合，基本是只要写代码没有用不到的，今天我…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年7月7日
    23
  • idea2021.3.3激活码(JetBrains全家桶) idea

    idea2021.3.3激活码(JetBrains全家桶)

    (idea2021.3.3激活码)2021最新分享一个能用的的激活码出来，希望能帮到需要激活的朋友。目前这个是能用的，但是用的人多了之后也会失效，会不定时更新的，大家持续关注此网站~IntelliJ2021最新激活注册码，破解教程可免费永久激活，亲测有效，下面是详细链接哦~https://javaforall.net/100143.html…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年3月27日
    4.6K
  • python3多行注释快捷键_geany注释快捷键

    python3多行注释快捷键_geany注释快捷键

    python3多行注释快捷键_geany注释快捷键step1:选中需要注释/取消注释的所有代码step2:按快捷键系统快捷键Maccommand+/WindowsCtrl+/

    全栈程序员-站长的头像 全栈程序员-站长
    2022年8月15日
    5
  • android之在activity中控制另一个activity的UI更新_如何在activity之间传递handler

    android之在activity中控制另一个activity的UI更新_如何在activity之间传递handler

    遇到一个问题，需要在一个activity中控制另一个acitivity做一些更新，没想到传递handler的方法，通过以下方式解决。1.在MyAPP中定义属性handlerpackage jason.com;import jason.com.MasterActivity.MyHandler;import android.app.Application;/*** 自己

    全栈程序员-站长的头像 全栈程序员-站长
    2022年3月10日
    34
  • Activity工作流引擎学习笔记（一）「建议收藏」

    Activity工作流引擎学习笔记（一）「建议收藏」

    Activity工作流引擎学习笔记（一）「建议收藏」工作流的概念 工作流(Workflow)，就是“业务过程的部分或整体在计算机应用环境下的自动化”，它主要解决的是“使在多个参与者之间按照某种预定义的规则传递文档、信息或任务的过程自动进行，从而实现某个预期的业务目标，或者促使此目标的实现”。工作流管理系统(WorkflowManagementSystem,WfMS)是一个软件系统，它完成工作量的定义和管理，并按照在系统中预先定义

    全栈程序员-站长的头像 全栈程序员-站长
    2022年7月11日
    20
  • android学习笔记之ImageView的scaleType属性

    android学习笔记之ImageView的scaleType属性

    android学习笔记之ImageView的scaleType属性我们知道，ImageView有一个属性叫做scaleType，它的取值一共有八种，分别是：matrix，fitXY，fitStart，fitCenter，fitEnd，center，centerCrop，centerInside。那我们下面一起来看看这八种取值分别代表什么意思。我用两张图片来做demo，这两张图片的分辨率一大一小，图片分别叫做big和small。原图如下：big:small:OK，

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月15日
    27

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号