1. 全栈程序员必看首页

clipper使用

全栈程序员-站长 • • 未分类 • 阅读 11

clipper使用一、clipper使用的redis库说明enumRedisDBTable{REDIS_STATE_DB_NUM=1,REDIS_MODEL_DB_NUM=2,REDIS_CONTAINER_DB_NUM=3,REDIS_RESOURCE_DB_NUM=4,REDIS_APPLICATION_DB_NUM=5,REDIS_METADATA_DB_NUM=6,//usedtostoreClipperconfigurationmetadat

大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46，售后保障稳定

 

clipper是一个开源的低延时的预测系统，地址为http://clipper.ai/  ， 是加州大学伯克利分校RISE Lab开发并开源的，下面是使用过程中的一些笔记，特此记录。

 

一、clipper使用的redis库说明

enum RedisDBTable {
  REDIS_STATE_DB_NUM = 1,
 REDIS_MODEL_DB_NUM = 2,
 REDIS_CONTAINER_DB_NUM = 3,
 REDIS_RESOURCE_DB_NUM = 4,
 REDIS_APPLICATION_DB_NUM = 5,
 REDIS_METADATA_DB_NUM = 6, // used to store Clipper configuration metadata
 REDIS_APP_MODEL_LINKS_DB_NUM = 7,
};

Jetbrains全家桶1年46，售后保障稳定

redis库序号 名称 说明 数据类型 key value
1 
REDIS_STATE_DB_NUM
 状态 string

rec-keras-app-serving:0:0

 

 {\”y_hat\”:\”-1\”}
2 
REDIS_MODEL_DB_NUM
 模型信息 hash rec-keras-mod-serving:1

1) “load”
2) “0.000000”
3) “container_name”
4) “hub.mfwdev.com/recommend/rec-serving-online-rec-keras-mod-serving:1“
5) “input_type”
6) “strings”
7) “labels”
8) “”
9) “model_data_path”
10) “DEPRECATED”
11) “model_version”
12) “1”
13) “model_name”
14) “rec-keras-mod-serving”
15) “batch_size”
16) “1”
17) “valid”
18) “”
3 
REDIS_CONTAINER_DB_NUM
 容器信息 hash rec-keras-mod-serving,1,0

1) “model_id”
2) “rec-keras-mod-serving:1”
3) “model_name”
4) “rec-keras-mod-serving”
5) “model_version”
6) “1”
7) “model_replica_id”
8) “0”
9) “zmq_connection_id”
10) “0”
11) “batch_size”
12) “1”
13) “input_type”
14) “strings”
4 
REDIS_RESOURCE_DB_NUM
        
5 
REDIS_APPLICATION_DB_NUM
 app信息 hash rec-keras-app-serving

1) “input_type”
2) “strings”
3) “policy”
4) “DefaultOutputSelectionPolicy”
5) “default_output”
6) “-1”
7) “latency_slo_micros”
8) “1000000”
6 
REDIS_METADATA_DB_NUM
 meta信息 string CURRENT_MODEL_VERSION:rec-keras-mod-serving 1
7 
REDIS_APP_MODEL_LINKS_DB_NUM
 app&model连接信息 set rec-keras-app-serving rec-keras-mod-serving

 

二、clipper架构图

 

clipper使用

 

 

组件 作用 依赖项目 重要程度
clipper management

提供HTTP 接口，供clipper admin调用；写入数据到redis中。

具体代码参考 management_frontend_main.cpp

 redis db  
prometheus monitoring 存储需要监控的信息；别的应用通过api向prometheus提交数据 query processor 和 model containeer 向prometheus汇报信息  
query processor

请求入口，提供HTTP接口和RPC接口。采用redis 的PSUBSCRIBE，监控redis中的数据变更，来动态的修改APP、MODEL、APP和MODEL之间的关系；

同时汇报信息到prometheus

 prometheus、model container  
model container model的容器，会根据query processor的地址，主动连接到query processor。并定期向query processor发送心跳 prometheus  

 

query processor 和 model container之间，采用了ZeroMQ的方式来通讯。可以认为query processor侧，将用户的请求放入到ZeroMQ队列中，然后model container 是消费方，轮询的方式，从ZeroMQ队列取数据来消费， 并将结果返回到query processor中

 

三、ModelContainer监控部分说明

1、ModelContainer

在rpc.py中，通过 python -m  clipper_admin.metrics.server    的方式，启动了单独的一个python进程。

在该python进程中，主要做了两件事情：

a、启动了一个redis-server，采用pub/sub的方式，来存储metric 信息

b、启动了一个http server，开启了1390端口，该端口是prometheus 拉取metric信息的接口。

2、model container中的metric信息，通过 

import clipper_admin.metrics as metrics 的方式，调用 add_metric 和 report_metric ，这两个函数，都是把数据放入到了redis中。通过异步的方式，由1.b 里面的python程序来消费。

 

clipper使用

clipper使用

 

四、query-frontend部分监控说明

1、query-frontend 本身提供了 http://ip:1337/metrics 接口，来查询metrics信息

2、frontend-exporter 是一个python程序，里面利用了 prometheus_client 的python api，暴露了1390端口，请求1390端口的时候，会请求query-frontend的metrics接口把数据做个转换，然后露出。

 

五、query-frontend流程图

clipper使用

 

clipper使用

 

六、clipper github代码更新之后重新安装流程

clipper客户端安装在了10.1.4.171服务器

 

1、切换到root账号，切换目录

cd /root/clipper/clipper

2、拉取最新代码，确保是master分支

git pull 

3、激活到py36环境

conda activate py36

4、卸载老的clipper_admin

pip uninstall clipper-admin

5、安装最新版本的clipper_admin

pip install git+file:///root/clipper/clipper#subdirectory=clipper_admin

 

七、query-frontend代码修改之后编译

登录10.163.1.131 机器

1、切换到root账号，切到目录

cd /root/clipper/clipper

2、执行docker build指令

docker build –build-arg CODE_VERSION=a66648a301 –build-arg REGISTRY=clipper -t query_frontend:develop -f dockerfiles/QueryFrontendDockerfile ./

3、打tag

docker tag query_frontend:develop hub.mfwdev.com/recommend/query_frontend:develop

4、push 

docker push hub.mfwdev.com/recommend/query_frontend:develop

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/200680.html原文链接：https://javaforall.net

赞 (0)
0 0

关于作者

全栈程序员-站长的头像

全栈程序员-站长

133.5K 文章
3 粉丝
本网站汇聚当前互联网主流语音，持续更新，欢迎关注公众号“全栈程序员社区”
上一篇 2025年8月23日 下午5:22
下一篇 2025年8月23日 下午6:01


相关推荐

  • SQL Server 触发器[通俗易懂]

    SQL Server 触发器[通俗易懂]

    SQL Server 触发器[通俗易懂]SQLServer触发器

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月20日
    36
  • file write error怎么解决_internal error 28013

    file write error怎么解决_internal error 28013

    file write error怎么解决_internal error 28013(原創) 如何解決Nios II EDS的『Error parsing project STF file』錯誤訊息? (SOC) (Nios II)

    全栈程序员-站长的头像 全栈程序员-站长
    2022年4月21日
    135
  • MTK Keypad驱动框架[通俗易懂]

    MTK Keypad驱动框架[通俗易懂]

    MTK Keypad驱动框架[通俗易懂]上一节，看完了http://blog.csdn.net/morixinguan/article/details/7717020，tpd驱动框架的实现。那么这一节来分析下Keypad驱动框架的实现，其实大同小异，套路也是类似的，我们来看看：

    全栈程序员-站长的头像 全栈程序员-站长
    2022年5月8日
    42
  • Sift算子特征点提取、描述及匹配全流程解析

    Sift算子特征点提取、描述及匹配全流程解析

    Sift算子特征点提取、描述及匹配全流程解析Sift 之前的江湖在 Sift 横空出世之前 特征点检测与匹配江湖上占据霸主地位的是角点检测家族 先来探究一下角点家族不为人知的恩怨情仇 角点家族的族长是 Moravec 在 1977 年提出的 Moravec 角点检测算子 它是一种基于灰度方差的角点检测方法 该算子计算图像中某个像素点沿水平 垂直方向上的灰度差异 以确定角点位置 Moravec 是第一个角点检测算法 也是角点家族的开山鼻祖 角点

    全栈程序员-站长的头像 全栈程序员-站长
    2025年11月20日
    4
  • Oracle 安装 与 卸载 以及 使用 plsqldev

    Oracle 安装 与 卸载 以及 使用 plsqldev

    Oracle 安装 与 卸载 以及 使用 plsqldev一、Oracle服务器安装1、下载安装包  压缩包有两个，一定要一起解压，将两个文件解压到同一目录下会生成文件夹直接运行安装即可2、安装参考地址http://www.cnblogs.com/sekai/articles/5493234.html***注意：数据库安装

    全栈程序员-站长的头像 全栈程序员-站长
    2022年5月12日
    94
  • 二代身份证编码规则及校验代码实现

    二代身份证编码规则及校验代码实现

    二代身份证编码规则及校验代码实现本文主要讨论的是二代身份证编码规则及其Java代码实现，下面的校验方式还不是特别严谨，由于只校验了前两位的省份信息，中间六位的出生日期信息和最后一位的校验码信息，故对于部分不满足要求的证件号码刚好同时满足了这里提到的几个条件，也会被判定为是合法的证件号码…1二代身份证号码编码规则1.1编码格式1999年我国颁发了第二代居民身份证号，公民身份号码为18位，且终身不变。居民身份证格式如：ABCDEF

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月27日
    92

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号