Colocation Profile

Motivation

如果现有集群中的工作负载想要通过 Koordinator 进行混合部署，则需要修改现有的 Controller/Operator 以支持 Koordinator 定义的 QoS Class、优先级和资源模型等协议。为了降低 Koordinator 混部系统的使用门槛，让大家可以简单快速的使用混部技术获得收益，因此 Koordinator 提供了一个 ClusterColocationProfile CRD 和 对应的 Webhook 修改和验证新创建的 Pod，注入 ClusterColocationProfile 中描述的字段。

构架

image

Feature Gates

ClusterColocationProfile mutating/validating 功能默认是打开的，如果想要关闭，请设置 Feature Gates：

1. $ helm install koordinator https://... --set featureGates="PodMutatingWebhook=false\,PodValidatingWebhook=false"

规格定义

如果您对 Kubernetes 资源不熟悉，请参考页面 了解 Kubernetes 对象。

  • namespaceSelector： 如果命名空间与选择器匹配，则决定是否改变/验证 Pod。 LabelSelector 默认为空，它将匹配所有 Namespace。
  • selector： 如果 Pod 与选择器匹配，则决定是否改变/验证 Pod。 默认为空的 LabelSelector，它将匹配所有 Pod。
  • qosClass （required）： 描述了 Pod 的 Koordinator QoSClass。该值以标签 koordinator.sh/qosClass 的形式更新到 Pod 中。对应的选项为 LSE、LSR、LS、BE 和 SYSTEM。 有关更多信息，请查看页面此处。
  • priorityClassName （required）： 指定要写入到 Pod.Spec.PriorityClassName 中的 Kubenretes PriorityClass. 选项为 koord-prod、koord-mid、koord-batch 和 koord-free。有关更多信息，请查看 此处。
  • koordinatorPriority： Koordinator 还提供了 Pod 级别的子优先级 sub-priority。 优先级值将作为标签 koordinator.sh/priority 更新到 Pod。 各个 Koordinator 组件通过 KoordinatorPriority 和 PriorityClassName 中的优先级值来确定 Koordinator 中 Pod 的优先级，值越高，优先级越高。
  • labels： 描述需要注入到 Pod.Labels 的 k/v 键值对。
  • annotations： 描述了需要注入到 Pod.Annotations 的 k/v 键值对。
  • schedulerName： 如果指定，则 Pod 将由指定的调度器调度。
  • patch： 表示用户想要注入 Pod 的 Pod 模板补丁。

例子

创建 ClusterColocationProfile

下面的 profile.yaml 文件描述了对所有含有标签 koordinator.sh/enable-colocation=true 的 Namespace 下的所有含有标签 koordinator.sh/enable-colocation=true 的 Pod 进行修改，注入 Koordinator QoSClass、Koordinator Priority 等。

1. apiVersion: config.koordinator.sh/v1alpha1
2. kind: ClusterColocationProfile
3. metadata:
4. name: colocation-profile-example
5. spec:
6. namespaceSelector:
7. matchLabels:
8. koordinator.sh/enable-colocation: "true"
9. selector:
10. matchLabels:
11. koordinator.sh/enable-colocation: "true"
12. qosClass: BE
13. priorityClassName: koord-batch
14. koordinatorPriority: 1000
15. schedulerName: koord-scheduler
16. labels:
17. koordinator.sh/mutated: "true"
18. annotations:
19. koordinator.sh/intercepted: "true"
20. patch:
21. spec:
22. terminationGracePeriodSeconds: 30

基于 YAML 文件创建 ClusterColocationProfile：

1. $ kubectl apply -f profile.yaml

验证 ClusterColocationProfile 是否生效

1. apiVersion: v1
2. kind: Pod
3. metadata:
4. labels:
5. koordinator.sh/enable-colocation: "true"
6. name: test-pod
7. spec:
8. containers:
9. - name: app
10. image: nginx:1.15.1
11. resources:
12. limits:
13. cpu: "1"
14. memory: "3456Mi"
15. requests:
16. cpu: "1"
17. memory: "3456Mi"

创建这个 Pod，现在你会发现该 Pod 被注入了 Koordinator QoSClass、Koordinator Priority 等。

1. $ kubectl get pod test-pod -o yaml
2. apiVersion: v1
3. kind: Pod
4. metadata:
5. annotations:
6. koordinator.sh/intercepted: true
7. labels:
8. koordinator.sh/qosClass: BE
9. koordinator.sh/priority: 1000
10. koordinator.sh/mutated: true
11. ...
12. spec:
13. terminationGracePeriodSeconds: 30
14. priority: 5000
15. priorityClassName: koord-batch
16. schedulerName: koord-scheduler
17. containers:
18. - name: app
19. image: nginx:1.15.1
20. resources:
21. limits:
22. kubernetes.io/batch-cpu: "1000"
23. kubernetes.io/batch-memory: 3456Mi
24. requests:
25. kubernetes.io/batch-cpu: "1000"
26. kubernetes.io/batch-memory: 3456Mi