大数据之Atlas元数据管理「建议收藏」

大数据之Atlas元数据管理「建议收藏」背景:公司做数据仓库时,管理自己多张表时,需要使用元数据管理系统进行管理。更多java、大数据学习面试资料,请扫码关注我的公众号:

大家好,又见面了,我是你们的朋友全栈君。

背景:

公司做数据仓库时,管理自己多张表时,需要使用数仓元数据管理系统进行管理。

一、Atlas简介

Atlas 是一个可伸缩且功能丰富、开源的元数据管理系统,深度对接了 Hadoop 大数据组件。

atlas 本身从技术上来说,就是一个典型的 JAVA WEB 系统,其整体结构图如下所示:

在这里插入图片描述

janusGraph (底层存储) :依赖于 hbase 和 solr
core (核心功能层): 相当于 javaee 里面的 service 层
integration(对外提供服务):相当于 javaee 里面的 controller 层

二、Atlas安装

1、下载源码包,并上传到linux,解压

tar -zxf apache-atlas-2.0.0-sources.tar.gz -C /opt/app/

2、执行 maven 编译打包

[root@h4 ~]# cd apache-atlas-sources-2.0.0/ 
[root@h4 apache-atlas-sources-2.0.0]# export MAVEN_OPTS="-Xms2g -Xmx2g" 
[root@h4 apache-atlas-sources-2.0.0]# mvn clean -DskipTests package -Pdist,embedded-hbase-solr

3、Atlas 安装配置

若是之前安装了zookeeper,kafka,hbase直接启动就行

4、安装solr

[root@h3 solr]# bin/solr start -c -z h1:2181,h2:2181,h3:2181 -p 8984 -force

初始化 solr 中的索引数据

${SOLR}/bin/solr create -c vertex_index -shards 1 -replicationFactor 1 -force 
${SOLR}/bin/solr create -c edge_index -shards 1 -replicationFactor 1 -force 
${SOLR}/bin/solr create -c fulltext_index -shards 1 -replicationFactor 1 -force

5、配置及启动 atlas

上传 atlas 编译好之后的安装包

sftp> put d:/apache-atlas-bin-2.0.0.tar.gz /root/

修改配置文件

vi atlas-env.sh

export JAVA_HOME=/opt/app/jdk1.8.0_191/ 
export MANAGE_LOCAL_HBASE=false (如果要使用内嵌的 zk 和 hbase,则改为 true) 
export MANAGE_LOCAL_SOLR=false (如果要是用内嵌的 solr,则改为 true) 
export HBASE_CONF_DIR=/opt/apps/hbase-2.0.6/conf

vi atlas-application.properties

# Hbase 地址配置
atlas.graph.storage.hostname=doitedu01:2181,doitedu02:2181,doitedu03:2181
(如果使用内嵌 hbase,则填写 localhost:2181# Solr 地址配置
#Solr http mode properties 
atlas.graph.index.search.solr.mode=http 
atlas.graph.index.search.solr.http-urls=http://h3:8984/solr(solr 服务地址)
# Kafka 地址配置 
atlas.notification.embedded=false (如果要使用内嵌的 kafka,则改为 true) 
atlas.kafka.zookeeper.connect=doitedu01:2181,doitedu02:2181,doitedu03:2181 
atlas.kafka.bootstrap.servers=doitedu01:9092,doitedu02:9092,doitedu03:9092

######### Server Properties ######### 
atlas.rest.address=http://doitedu01:21000

启动 atlas

[root@h3 apache-atlas-2.0.0]#
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/140168.html原文链接:https://javaforall.net

(0)
上一篇 2022年5月28日 下午5:36
下一篇 2022年5月28日 下午5:46


相关推荐

  • 鱼骨图实践

    鱼骨图实践

    2022年1月19日
    64
  • Java类加载,getClassLoader()

    Java类加载,getClassLoader()转自【java类加载的深入研究1】loadClass()的研究,IBM深入探讨Java类加载器类加载器基本概念顾名思义,类加载器(classloader)用来加载Java类到Java虚拟机中。一般来说,Java虚拟机使用Java类的方式如下:Java源程序(.java文件)在经过Java编译器编译之后就被转换成Java字节代码(.class文件)。类加载…

    2022年5月27日
    32
  • macports安装卡住_MacPorts下载

    macports安装卡住_MacPorts下载MacPorts类似与apt-get以及yum等软件包管理工具,可以方便的进行安装与卸载软件的功能,同时可以自动安装软件包的依赖,非常方便,同类的还有brew等工具。1.下载及安装下载MacPorts安装包或源码,我比较喜欢源码安装,使用apk安装较慢,而且对进度的把握也不够明显,总感觉程序死掉了。下载以及安装都可以参照 http://www.macports.org/install

    2026年2月8日
    10
  • anaconda与pip 清华镜像源

    anaconda与pip 清华镜像源condaconfiga mirrors tuna tsinghua edu cn anaconda pkgs free condaconfiga mirrors tuna tsinghua edu cn anaconda pkgs main condaconfigs channel urlsyespip 设置清华镜像源 方法 1 设为默认镜像源 推荐 pipconfigs

    2026年3月16日
    3
  • wireshark抓包工具详细说明及操作使用_wireshark ping抓包

    wireshark抓包工具详细说明及操作使用_wireshark ping抓包wireshark是非常流行的网络封包分析软件,功能十分强大。可以截取各种网络封包,显示网络封包的详细信息。使用wireshark的人必须了解网络协议,否则就看不懂wireshark了。为了安全考虑,wireshark只能查看封包,而不能修改封包的内容,或者发送封包。wireshark能获取HTTP,也能获取HTTPS,但是不能解密HTTPS,所以wireshark看不懂HTTPS中的

    2025年9月28日
    5
  • 物业管理系统源码java_Java小区物业管理系统 源码报告下载

    物业管理系统源码java_Java小区物业管理系统 源码报告下载小学期实习就弄了个这…留作纪念.技术上突飞猛进的三周,教会了我一些做人的道理,尤其是:团队合作时的木桶效应….整个后端不是我做的,但是我还是改了好多,要不然总不可能让废柴坐那玩手机吧…其实并没有什么卵用…Bootstrap主题不错,不过里面好多文件冗余还不敢删…上传了完整的工程文件,docs目录里是部分文档…系统功能用户登录管理:这是系统的必要部分,通过它可…

    2025年11月18日
    8

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号