datahub文档_Datahub安装部署指南

Datahub安装部署指南

系统要求 ：windows server 2008及以上, 64位操作系统, 安装目标磁盘空间至少20G以上(日志文件需要)。

网络要求 ：一个dmp平台可以访问到的端口。

安装文件下载地址：

部署过程

一、下载Datahub安装文件(windows64位)

解压Datahub压缩文件，包括3个文件:

1) dmp-datahub-1.0.0-windows-amd64.exe (Datahub程序文件, 1.0.0为版本号, 也可以通过命令行查看版本号及编译时间)

2) nssm.exe (windows服务安装工具)

3) wmi_exporter.exe (监控程序)

二、安装Datahub

1.创建安装目录(以下d:\为示例磁盘)

1) 在目标磁盘(建议非操作系统磁盘)创建目录, d:\datahub\logs和d:\datahub\old

2) 将解压的文件复制到d:\datahub\目录下, 并将dmp-datahub-1.0.0-windows-amd64.exe文件复制一个新文件名为dmp-datahub.exe。

3) 将dmp-datahub.exe添加到杀毒软件的白名单/可信任列表(避免被误杀)。

2.设置配置文件

1) 打开cmd.exe, cd到d:\datahub, 运行命令行 dmp-datahub.exe init, 生成一个模板配置文件datahub.example.toml。参考截图:

2) 复制datahub.example.toml为datahub.toml, 打开并编辑datahub.toml文件。

配置项说明

项目项名称

说明值

示例

api_key

Dmp flow与datahub通信的密钥, dmp添加数据源时填写该密钥。建议使用初始化配置模板文件时产生的该配置项值

wVPWsxCgSpDYWPqk

env_code

客户环境名称(直接填写租户代码)

vanke

db.pool

数据库连接池的连接数,取决于sql执行并发数多少。建议用默认值

10

db.timeout

sql执行超时间(秒)，建议120秒

120

db.url

数据库连接字符串(注意sql server端口打开)

参考模板文件值

Log.level

日志输出级别，建议:warn

warn

Log.output

日志文件输出方式(多种用逗号隔开)，建议:file,aliyun.

File,aliyun

Proxy.metrics

性能监控代理地址。如果不开启，直接填写空字符串, 建议使用默认值开启

127.0.0.1:9182

Tracing.enable

是否开启opentrace性能跟踪. 0为不开启。建议设置为0,除非需要额外调试才填写1

0

Upload.zip_record

异步模式同步时多少记录压缩成一个zip文件, 取决于服务器的内存,cpu和表数据量大小。建议使用默认值

注意：env_code,db.timeout,db.url,Log.level,Log.output,Tracing.enable这些配置项需要填写,其他没有特别说明,请使用默认值。

3.安装服务

1) 在cmd运行命令 nssm.exe install, 弹出服务安装配置界面，按下图的值配置Application和I/O两个选项卡内容

Service name: datahub

Application部分:

Path: d:\datahub\dmp-datahub.exe

setup directory: d:\datahub

Arguments: serve -p 19988 (19988 表示datahub对外的端口)

I/O部分:

Output (stdout): d:\datahub\logs\stdout.log

Error (stderr): d:\datahub\logs\stdout.log

点击Install service 按钮后，弹出提示成功。

如果要在安装后，再编辑服务，可以使用命令:

nssm.exe edit datahub

2) 设置服务失败自动重启

在 windows run 的命令界面输入 services.msc 或者通过控制面板打开服务管理工具，然后选择datahub服务，双击弹出属性配置窗口，点击[恢复]选项页，将第一次失败，第二次失败，后续失败改为[重新启动服务]，点击应用保存。

4.确认安装成功

在浏览器中输入

三、安装服务器性能监控(可选)

1.安装监控程序wmi_exporter.exe;

2.使用 nssm.exe insteall 命令安装wmi_exporter服务(参考上面安装datahub);

Service name: vmi_exporter

Application部分:

Path: d:\vmi_exporter\wmi_exporter.exe

setup directory: d:\vmi_exporter

Arguments: –collectors.enabled “cpu,process,net,mssql,tcp,os,system,service,logical_disk” –collectors.mssql.classes-enabled=”accessmethods,bufman,databases,genstats,locks,memmgr,sqlstats” –collector.service.services-where “Name=’dmpdatahub'” –log.format logger:eventlog?name=wmi_exporter –telemetry.addr :9182

I/O部分:

Output (stdout): d:\vmi_exporter\logs\stdout.log

Error (stderr): d:\vmi_exporter\logs\stdout.log

3.设置服务失败后重启(参考上面安装datahub服务)；

4.确认安装完成，在浏览器中输入

附录

Datahub命令行说明

dmp-datahub.exe init 创建配置文件模板

dmp-datahub.exe secret 生成api_key

dmp-datahub.exe –help 查看指令说明