大数据之Atlas元数据管理「建议收藏」

大数据之Atlas元数据管理「建议收藏」背景:公司做数据仓库时,管理自己多张表时,需要使用元数据管理系统进行管理。更多java、大数据学习面试资料,请扫码关注我的公众号:

大家好,又见面了,我是你们的朋友全栈君。

背景:

公司做数据仓库时,管理自己多张表时,需要使用数仓元数据管理系统进行管理。

一、Atlas简介

Atlas 是一个可伸缩且功能丰富、开源的元数据管理系统,深度对接了 Hadoop 大数据组件。

atlas 本身从技术上来说,就是一个典型的 JAVA WEB 系统,其整体结构图如下所示:

在这里插入图片描述

janusGraph (底层存储) :依赖于 hbase 和 solr
core (核心功能层): 相当于 javaee 里面的 service 层
integration(对外提供服务):相当于 javaee 里面的 controller 层

二、Atlas安装

1、下载源码包,并上传到linux,解压

tar -zxf apache-atlas-2.0.0-sources.tar.gz -C /opt/app/

2、执行 maven 编译打包

[root@h4 ~]# cd apache-atlas-sources-2.0.0/ 
[root@h4 apache-atlas-sources-2.0.0]# export MAVEN_OPTS="-Xms2g -Xmx2g" 
[root@h4 apache-atlas-sources-2.0.0]# mvn clean -DskipTests package -Pdist,embedded-hbase-solr

3、Atlas 安装配置

若是之前安装了zookeeper,kafka,hbase直接启动就行

4、安装solr

[root@h3 solr]# bin/solr start -c -z h1:2181,h2:2181,h3:2181 -p 8984 -force

初始化 solr 中的索引数据

${SOLR}/bin/solr create -c vertex_index -shards 1 -replicationFactor 1 -force 
${SOLR}/bin/solr create -c edge_index -shards 1 -replicationFactor 1 -force 
${SOLR}/bin/solr create -c fulltext_index -shards 1 -replicationFactor 1 -force

5、配置及启动 atlas

上传 atlas 编译好之后的安装包

sftp> put d:/apache-atlas-bin-2.0.0.tar.gz /root/

修改配置文件

vi atlas-env.sh

export JAVA_HOME=/opt/app/jdk1.8.0_191/ 
export MANAGE_LOCAL_HBASE=false (如果要使用内嵌的 zk 和 hbase,则改为 true) 
export MANAGE_LOCAL_SOLR=false (如果要是用内嵌的 solr,则改为 true) 
export HBASE_CONF_DIR=/opt/apps/hbase-2.0.6/conf

vi atlas-application.properties

# Hbase 地址配置
atlas.graph.storage.hostname=doitedu01:2181,doitedu02:2181,doitedu03:2181
(如果使用内嵌 hbase,则填写 localhost:2181# Solr 地址配置
#Solr http mode properties 
atlas.graph.index.search.solr.mode=http 
atlas.graph.index.search.solr.http-urls=http://h3:8984/solr(solr 服务地址)
# Kafka 地址配置 
atlas.notification.embedded=false (如果要使用内嵌的 kafka,则改为 true) 
atlas.kafka.zookeeper.connect=doitedu01:2181,doitedu02:2181,doitedu03:2181 
atlas.kafka.bootstrap.servers=doitedu01:9092,doitedu02:9092,doitedu03:9092

######### Server Properties ######### 
atlas.rest.address=http://doitedu01:21000

启动 atlas

[root@h3 apache-atlas-2.0.0]#
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/140168.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 已知最大公约数和最小公倍数_7和15的最大公因数和最小公倍数

    已知最大公约数和最小公倍数_7和15的最大公因数和最小公倍数7-4 最大公约数和最小公倍数 (20分) 本题要求两个给定正整数的最大公约数和最小公倍数。输入格式: 输入在一行中给出两个正整数M和N(≤1000)。输出格式: 在一行中顺序输出M和N的最大公约数和最小公倍数,两数字间以1空格分隔。 输入样例: 511 292 输出样例: 73 2044#include <iostream>#include<ioma…

    2022年8月18日
    12
  • CES Asia专题|用眼睛控制一切,青研科技带来新一代人机交互方式

    CES Asia专题|用眼睛控制一切,青研科技带来新一代人机交互方式

    2022年3月13日
    41
  • java helloworld源代码_Java Hello World源代码notepad++版

    java helloworld源代码_Java Hello World源代码notepad++版Notepad++中写JavaHelloWorld代码并运行,步骤如下:1、在E:\CodeDemo\Java文件夹下(你也可以选择自己的文件夹)新建一个txt文本文件。如果没有NotePad++,请去官网下载安装。2、重命名为Hello.java,在弹出对话框单击是。3、右单击新建的Hello.java文件弹出快捷菜单,使用editwithnotepad++编辑Hello.java文件…

    2022年5月28日
    38
  • 数据库查询优化——Mysql索引

    数据库查询优化——Mysql索引

    2020年11月12日
    295
  • continue和break的区别 python_c语言continue c.编程.net

    continue和break的区别 python_c语言continue c.编程.net1、continue是跳出本次循环,而不是终止整个循环i=1whilei<9:i=i+1ifi==5:#跳出本次循环,不打印5,整个循环还继续continueprint(i)2、break是终止整个循环i=1whilei<9:i=i+1ifi==5:#跳终止整个循环,后面的不再执行breakprint(.

    2022年9月13日
    0
  • 业务架构师职责_架构师工作内容

    业务架构师职责_架构师工作内容什么是业务架构师通常来说业务想清楚了需要什么能力,就会提需求给产品开始设计整个产品能力,产品同时也会找到对应的技术owner协助进行,如提供技术角度的支持与意见。这里的技术owner就可以理解为我们的业务架构师。从项目立项到项目交付,贯穿整个项目生命周期。不仅要规划好整体项目能力,而且要熟悉其他依赖的业务模块逻辑,可以给出串联整个项目的架构方案。并不是所有的项目都是几百人日的,通常一个产品初期会有大量的投入,后期会进行迭代,每次迭代都需要技术owner进行业务拆解,这里的技术owner做的事情和产

    2022年10月12日
    0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号