[CKA] 35. Cluster Upgrade Process

Date

2025/01/03

Version Compatibility

[CKA] 34. Kubernetes Releases 에서 control plane의 구성 요소들은 릴리즈를 통해 구성될 때 ETCD Cluster, CoreDNS 같은 외부 구성 요소를 제외하고 모두 같은 버전을 갖는다고 했다. 모든 구성 요소가 동일한 버전을 가져야 하느냐를 따지면 그것은 아니지만, kube-apiserver는 다른 구성 요소들이 통신하는 요소기 때문에 다른 어떤 구성 요소도 kube-apiserver보다 버전이 높아서는 안된다.

그렇다고 kube-apiserver만 계속 버전을 업그레이드하고 나머지 구성요소의 버전을 유지시킬 수는 없다. controller-manager와 kube-scheduler는 kube-apiserver보다 한 단계 낮은 버전까지 가질 수 있고, kubelet과 kube-proxy는 kube-apiserver 보다 두 단계 낮은 버전까지 가질 수 있다. 여기서 낮은 버전이 가리키는 것은 마이너(Minor) 버전이다.

Component	Version	Example
kube-apiserver	X	v1.10
Controller-manager	X-1	v1.9 or v1.10
kube-scheduler	X-1	v1.9 or v1.10
kebelet	X-2	v1.8 or v1.9 or v1.10
kube-proxy	X-2	v1.8 or v1.9 or v1.10
kubectl	X-1 ~ X+1	v1.8 ~ v1.11

kube-apiserver보다 높은 버전을 갖는 구성 요소는 없어야한다고 했는데 위 표에서 kube-apiserver보다 높은 버전을 갖는 구성 요소가 한가지 존재한다. 바로 kubectl이다.

이러한 편차가 허용되는 버전으로 실시간 업그레이드를 할 수 있으며, 필요에 따라 구성 요소를 하나씩 업그레이드할 수 있다.

Upgrade

When

Kubernetes는 3개의 최신 버전만 지원한다. v1.12가 가장 최신 릴리즈라면 v1.12, v1.11, v1.10만 정식 지원하는 것이다. 따라서 다음 릴리즈가 나오기 전 v1.10을 사용한다면 다음 버전으로 업그레이드하는 것이 가장 좋다.

How

Kubernetes는 업그레이드 시 한 번에 마이너 버전 하나씩 업그레이드하는 것을 권장한다. v1.10 버전을 사용 중이라고 할 때 v1.13이 릴리즈 된다면 v1.13으로 바로 업그레이드하는 것이 아니라 v1.11로 업그레이드 하는 것이다.

Process

업그레이드 프로세스는 클러스터 설정에 따라 다르다.

•

CSP: AWS, GCP 같은 CSP에 배포되는 쿠버네티스 클러스터라면 해당 CSP 서비스에서 업그레이드를 제공하기 때문에 쉽게 업그레이드가 가능하다.

•

kubeadm: kubeadm 같은 툴을 통해 클러스터를 배포했다면 아래의 명령어들을 통해 클러스터를 계획하고 업그레이드 할 수 있다.

◦

kubeadm upgrade plan

◦

kubeadm upgrade apply 

•

From Scratch: 클러스터를 처음부터 배포했다면 클러스터의 다양한 구성오소를 직접 업그레이드해야한다.

Upgrade Strategies

Upgrade Master Nodes

먼저 클러스터의 마스터 노드를 업그레이드한다. 이 과정에서 API 서버, 스케줄러, 컨트롤러 매니저 등 control plane의 구성 요소들이 잠시 중단되지만, 워커 노드와 애플리케이션은 영향을 받지 않는다. 하지만 관리 기능이 중단되기 때문에 kubectl을 통해 클러스터에 접근할 수 없고, 새로운 애플리케이션을 배포하거나 기존 애플리케이션을 수정할 수 없다. 또한 Pod가 중단되어도 자동으로 다시 생성되지 않는다.

Upgrade Worker Nodes

마스터 노드 업그레이드가 완료되면 워커 노드를 업그레이드한다. 워커 노드를 업그레이드할 때에는 다양한 전략이 사용된다.

Upgrade All Nodes at Once

한 번에 모든 노드를 업그레이드하는 전략으로, 이 때는 다운타임이 발생하며 애플리케이션에 접속할 수 없다.

Upgrade One Node at a time

한 번에 노드 하나씩 업그레이드하는 전략이다. 첫 번째 노드를 업그레이드시킬 때, 해당 노드의 워크로드를 다른 노드로 이동시킨다. 업그레이드가 완료되면 다음 노드도 방금 과정을 진행하며 모든 노드에 대해 반복한다.

Add New Nodes

업그레이드 된 버전을 가진 노드를 클러스터에 새로 추가하는 전략이다. 새 노드를 프로비저닝하여 워크로드를 새 노드로 옮기고 구 버전 노드를 제거하면 되기 때문에 클라우드 환경에서 특히 편리하다.

Upgrade with kubeadm

Control plane

kubeadm은 클러스터 업그레이드를 돕는 명령어가 있다. kubeadm upgrade plan 명령어를 실행하면 현재 클러스터 버전, kubeadm tool 버전, 최신 안정 버전 등을 확인할 수 있다. 또한 control plane의 구성 요소들에 대한 현재 버전과 사용 가능 버전을 확인할 수 있다. 추가로 kubelet 버전을 각 노드에서 수동으로 업그레이드해야 한다는 구문이 나오는데, kubeadm은 kublet 설치나 업그레이드를 제공하지 않기 때문이다.

이후 클러스터를 업그레이드하기 위해 kubeadm tool을 먼저 업그레이드하고 kubeadm upgrade apply 명령을 실행한다.

apt-get upgrade -y kubeadm=<version> # kubeadm=1.12.0-00
kubeadm upgrade apply <version> # v1.12.0
Bash
복사

업그레이드가 완료된 후 kubectl get nodes 명령어를 실행해도 VERSION 열에는 업그레이드된 버전으로 보이지 않을 수 있는데, 출력되는 해당 버전은 각 노드에 대한 kubelet의 버전이기 때문에 kubelet을 업그레이드 해야한다.

Kubelet

업그레이드가 완료되면, kubelet의 버전을 각 노드마다 수동으로 업그레이드해야한다. 마스터 노드에서 kubelet을 업그레이드한 후, 워커 노드도 하나씩 업그레이드한다. 워커 노드를 업그레이드할 때는 drain 명령을 통해 cordon 처리해야 하며, 완료 후 uncordon 처리를 해야한다.

[master node]

apt-get upgrade -y kubelet=<version> # kubelet=1.12.0-00
systemctl restart kubelet
Bash
복사

[worker node]

kubectl drain <node-name> # master에서 실행
apt-get upgrade -y kubeadm=<version> # kubeadm=1.12.0-00
apt-get upgrade -y kubelet=<version> # kubelet=1.12.0-00
kubeadm upgrade node config --kubelet-version <version> # v1.12.0
systemctl restart kubelet
kubectl uncordon <node-name> # master에서 실행
Bash
복사

Documents

첫번째 링크에서 한국어로 페이지 설정을 하면 package repository로 가는 링크(두번째 링크)가 보이지 않는다. 이 점만 주의해서 업그레이드 문서를 확인하자.

Upgrading kubeadm clusters

This page explains how to upgrade a Kubernetes cluster created with kubeadm from version 1.31.x to version 1.32.x, and from version 1.32.x to 1.32.y (where y > x). Skipping MINOR versions when upgrading is unsupported. For more details, please visit Version Skew Policy. To see information about upgrading clusters created using older versions of kubeadm, please refer to following pages instead: Upgrading a kubeadm cluster from 1.30 to 1.31 Upgrading a kubeadm cluster from 1.

https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade/

pkgs.k8s.io: Introducing Kubernetes Community-Owned Package Repositories

On behalf of Kubernetes SIG Release, I am very excited to introduce the Kubernetes community-owned software repositories for Debian and RPM packages: pkgs.k8s.io! The new package repositories are replacement for the Google-hosted package repositories (apt.kubernetes.io and yum.kubernetes.io) that we've been using since Kubernetes v1.5. This blog post contains information about these new package repositories, what does it mean to you as an end user, and how to migrate to the new repositories.

https://kubernetes.io/blog/2023/08/15/pkgs-k8s-io-introduction/

Upgrading Linux nodes

This page explains how to upgrade a Linux Worker Nodes created with kubeadm. Before you begin You need to have shell access to all the nodes, and the kubectl command-line tool must be configured to communicate with your cluster. It is recommended to run this tutorial on a cluster with at least two nodes that are not acting as control plane hosts. To check the version, enter kubectl version. Familiarize yourself with the process for upgrading the rest of your kubeadm cluster.

https://v1-31.docs.kubernetes.io/docs/tasks/administer-cluster/kubeadm/upgrading-linux-nodes/