OPA-Gatekeeper使用

出发点

如果您所在的组织一直在使用 Kubernetes，您可能一直在寻找如何控制终端用户在集群上的行为，以及如何确保集群符合公司政策。这些策略可能需要满足管理和法律要求，或者符合最佳执行方法和组织惯例。使用 Kubernetes，如何在不牺牲开发敏捷性和运营独立性的前提下确保合规性？

例如，您可以执行以下策略：

• 所有镜像必须来自获得批准的存储库
• 所有入口主机名必须是全局唯一的

• 所有 Pod 必须有资源限制
• 所有命名空间都必须具有列出联系的标签

在接收请求被持久化为 Kubernetes 中的对象之前，Kubernetes 允许通过 admission controller webhooks 将策略决策与 API 服务器分离，从而拦截这些请求。Gatekeeper 创建的目的是使用户能够通过配置（而不是代码）自定义控制许可，并使用户了解群集的状态，而不仅仅是针对评估状态的单个对象，在这些对象准许加入的时候。Gatekeeper 是 Kubernetes 的一个可定制的许可 webhook ，它由 Open Policy Agent (OPA) 强制执行， OPA 是 Cloud Native 环境下的策略引擎，由 CNCF 主办。

Kubernetes 提供通过准入控制器（Admission Controller）Webhooks 扩展 API Server 功能的能力。在创建，更新或删除资源时，Kubernetes 就会调用这些 Webhooks。 Gatekeeper 被作为验证 Webhook，并执行 Kubernetes CRD 中定义的策略。除了使用准入控制外，Gatekeeper 还提供了审核 Kubernetes 集群中现有资源并标记当前违反策略的功能。

安装

赋予集群管理员权限

  kubectl create clusterrolebinding cluster-admin-binding \     --clusterrole cluster-admin \     --user admin

安装opa-gatekeeper
版本需要与k8s版本匹配，目前测试1.15版本使用3.4，1.19版本使用3.5，1.21使用3.6没有问题

kubectl apply -f https://raw.githubusercontent.com/open-policy-agent/gatekeeper/release-3.5/deploy/gatekeeper.yaml

注意: 默认gatekeeper不约束对资源的删除，例如：opa中定义了某个用户无法创建和更新的资源，但是这个用户却能删除该资源，为了让其没有删除权限，需要修改gatekeeper.yaml文件

operations: - CREATE - UPDATE - DELETE //添加该行

示例

创建ConstraintTemplate模板

kubectl apply -f https://raw.githubusercontent.com/open-policy-agent/gatekeeper/master/demo/basic/templates/k8srequiredlabels_template.yaml

查看模板列表

kubectl get ConstraintTemplate

查看模板是否有opa-rego语法错误

kubectl describe ConstraintTemplate k8srequiredlabels   

k8srequiredlabels_template.yaml内容如下

apiVersion: templates.gatekeeper.sh/v1beta1 kind: ConstraintTemplate metadata:   name: k8srequiredlabels // 按需更改 spec:   crd:     spec:       names:         kind: K8sRequiredLabels // 按需更改       validation:         # Schema for the `parameters` field         openAPIV3Schema:           properties: // 需要满足的条件的参数             labels:               type: array               items: string   targets:     - target: admission.k8s.gatekeeper.sh       rego: |         package k8srequiredlabels         violation[{"msg": msg, "details": {"missing_labels": missing}}] {           provided := {label | input.review.object.metadata.labels[label]}  // 获取到创建的对象的所有label           required := {label | label := input.parameters.labels[_]}  // 获取到需要提供的label           missing := required - provided // rego语言支持集合相减，得到未满足的label           // 断言未满足的label数量>0，如果大于0，说明条件满足， // violation为true，说明违反了约束，返回错误 count(missing) > 0           msg := sprintf("you must provide labels: %v", [missing])         }

创建约束 Constraints

kubectl apply -f https://raw.githubusercontent.com/open-policy-agent/gatekeeper/master/demo/basic/constraints/all_ns_must_have_gatekeeper.yaml

all_ns_must_have_gatekeeper.yaml内容如下

apiVersion: constraints.gatekeeper.sh/v1beta1 kind: K8sRequiredLabels metadata:   name: ns-must-have-gk spec:   match:     kinds:       - apiGroups: [""]            kinds: ["Namespace"]  // 表示这个约束会在创建命名空间的时候被应用   parameters:     labels: ["gatekeeper"]  //传递给opa的参数，此处表示一个key为labels，value为一个列表的字典，与ConstraintTemplate里的properties要匹配上，此处表示要创建的对象需要含有gatekeeper的label

        注意 match 字段，它定义了将应用给定约束的对象的范围。它支持以下匹配器：

• kind 接受带有 apiGroups 和 kind 字段的对象列表，这些字段列出了约束将应用到的对象的组/种类。如果指定了多个组/种类对象，则资源在范围内只需要一个匹配项。
• scope 接受 *、Cluster 或 Namespaced 决定是否选择集群范围和/或命名空间范围的资源。 （默认为 *）
• namespaces 是命名空间名称的列表。如果已定义，则约束仅适用于列出的命名空间中的资源。命名空间还支持基于前缀的 glob。例如，namespaces: [kube-*] 匹配 kube-system 和 kube-public。
• excludeNamespaces 是命名空间名称的列表。如果已定义，则约束仅适用于不在列出的命名空间中的资源。 ExcludedNamespaces 还支持基于前缀的 glob。例如，excludedNamespaces: [kube-*] 匹配 kube-system 和 kube-public。
• labelSelector 是标准的 Kubernetes 标签选择器。
• namespaceSelector 是针对对象的包含名称空间或对象本身的标签选择器，如果对象是名称空间。 name 是对象的名称。如果已定义，则匹配具有指定名称的对象。 Name 还支持基于前缀的 glob。例如，名称：pod-* 匹配 pod-a 和 pod-b。

        请注意，如果指定了多个匹配器，则资源必须满足每个顶级匹配器（种类、名称空间等）才能在范围内。每个顶级匹配器都有自己的语义来确定什么是匹配。空匹配器被认为是包含的（匹配所有内容）。还要了解命名空间、excludedNamespaces 和 namespaceSelector 将匹配未命名空间的集群范围资源。为避免这种情况，请将范围调整为 Namespaced。

示例：

apiVersion: constraints.gatekeeper.sh/v1beta1 kind: K8sPodLabels metadata: name: pod-must-have-gk spec: match: kinds: - apiGroups: [""] kinds: ["Pod"] labelSelector: matchExpressions: - key: app operator: In values: [nginx1] namespaces: ["ns-test"] parameters: labels: ["gatekeeper"] 

查看Constraints

kubectl get constraints

测试

apiVersion: v1 kind: Namespace metadata:   name: ns-test   labels:     a: b     #gatekeeper: "abc"

创建命名空间

kubectl apply -f ns-test.yaml 

此时不给命名空间添加key为gatekeeper的label，会报错：

Error from server ([ns-must-have-gk] you must provide labels: {"gatekeeper"}): error when creating "ns-test.yaml": admission webhook "validation.gatekeeper.sh" denied the request: [ns-must-have-gk] you must provide labels: {"gatekeeper"}

#gatekeeper: “abc”这行的注释打开，则能成功创建

获取input

小案例1

要求：只能允许”user1″, “user2”, “kubernetes-admin”这三个用户拥有创建、更新、删除default命名空间中label为app: nginx1的pod

创建约束模板

[root@master1 opa]# cat k8srequiredusers_template.yaml apiVersion: templates.gatekeeper.sh/v1beta1 kind: ConstraintTemplate metadata: name: k8srequiredusers spec: crd: spec: names: kind: K8sRequiredusers validation: # Schema for the `parameters` field openAPIV3Schema: properties: users: type: array items: string targets: - target: admission.k8s.gatekeeper.sh rego: | package k8srequiredusers violation[{"msg": msg}] { // 把创建时的用户名放在一个集合里 user := { input.review.userInfo.username } // 获取允许创建该pod的用户集合 permitUser := {user | user := input.parameters.users[_]} // 集合-集合 allow := permitUser - user // 如果减完之后集合还相等，说明这个用户没有在允许的集合中，不满足约束条件 allow == permitUser msg := sprintf("user %v not allowd", [user]) }

创建约束

[root@master1 opa]# cat requiredusers_constraind.yaml apiVersion: constraints.gatekeeper.sh/v1beta1 kind: K8sRequiredusers metadata: name: required-users spec: match: kinds: - apiGroups: [""] kinds: ["Pod"] labelSelector: matchExpressions: - key: app operator: In values: [nginx1] namespace: ["default"] parameters: users: ["user1", "user2", "kubernetes-admin"] 

创建pod

用kubernetes-admin用户创建这个pod，能正常创建，同时更新、删除也能成功

[root@master1 opa]# cat pod.yaml apiVersion: v1 kind: Pod metadata: name: pod2 labels: app: nginx1 spec: containers: - name: nginx-pod image: nginx:1.12 imagePullPolicy: Never

使用myuser用户创建、删除、更新均不成功，会提示约束报错信息，创建myuser用户测试可参考

k8s创建普通用户_weixin_的博客-CSDN博客

小案例2

ConfigMap、Secret、PersistentVolumeClaim必须包含security标签，并且标签必须为s1,s2,s3,s4中之一

apiVersion: templates.gatekeeper.sh/v1beta1 kind: ConstraintTemplate metadata: name: resourcesecurityclassification spec: crd: spec: names: kind: ResourceSecurityClassification validation: # Schema for the `parameters` field openAPIV3Schema: properties: labelkey: type: string labelvalues: type: array items: string targets: - target: admission.k8s.gatekeeper.sh rego: | package resourcesecurityclassification violation_label_and_value(provided, required) = allow { rlt := provided - required allow := (rlt != provided) } violation[{"msg": msg}] { providedlabels := {label | label := input.review.object.metadata.labels[_]} providedkey := {key | input.review.object.metadata.labels[key]} requiredkey := input.parameters.labelkey requiredlabels := {label | label := input.parameters.labelvalues[_]} kind := input.review.object.kind k := violation_label_and_value(providedkey, { requiredkey }) v := violation_label_and_value(requiredlabels, providedlabels) { k } & { v } != { true } msg := sprintf("[%v] must have label: [%v] and must have one of the following values: %v", [kind, requiredkey, requiredlabels]) } --- apiVersion: constraints.gatekeeper.sh/v1beta1 kind: ResourceSecurityClassification metadata: name: resources-must-have-security-classification spec: match: kinds: - apiGroups: [""] kinds: ["ConfigMap","Secret","PersistentVolumeClaim"] parameters: labelkey: "security" labelvalues: ["s1", "s2", "s3", "s4"] 

官方地址：https://open-policy-agent.github.io/gatekeeper/website/docs/install