[CKA] 33. OS Upgrades

Date

2025/01/03

Kubernetes 클러스터의 노드 관리

쿠버네티스 클러스터의 노드에서 소프트웨어를 업그레이드하거나 보안 패치를 적용하는 등의 유지 관리할 때 노드를 중단(Down)된다. 이를 처리하기 위한 쿠버네티스에서의 옵션에 대해 알아보자.

클러스터와 노드의 이해

쿠버네티스 클러스터는 여러 개의 노드로 구성되며, 각 노드는 애플리케이션을 제공하는 Pod를 실행한다. 만일 한 노드가 중단되면, 해당 노드의 Pod는 접근할 수 없게 된다. 이때 Pod를 배포한 방식에 따라 사용자의 경험이 달라진다.

위 그림의 왼쪽 노드가 중단된다고 했을 때, Blue Pod는 복제본을 가지고, Green Pod는 그렇지 않다. 노드가 다운되면 Blue 애플리케이션에 접근하는 사용자는 다른 온라인 Pod를 통해 서비스되므로 영향을 받지 않는다. 하지만 Green Pod는 왼쪽 노드에서 유일했기 때문에 Green 애플리케이션에 접근하는 사용자는 영향을 받는다.

Kubernetes 처리 절차

쿠버네티스는 다운되었던 노드가 바로 온라인으로 돌아온다면 Kubelet process를 실행시키고, Pod들은 온라인 상태로 복귀한다. 하지만 노드가 다운되고 5분 이상 시간이 지난다면 해당 Pod들을 죽은 상태(dead)로 간주하고 종료(terminated)한다. 이때 Pod가 ReplicaSet의 일부라면 다른 노드에서 새로 생성된다. Pod가 온라인 상태가 되기를 기다리는 시간을 pod-eviction-timeout이라고 하며, 컨트롤러 매니저에서 설정되며 기본값은 5분이다.

따라서 노드가 오프라인 상태일 때, 마스터 노드는 최대 5분 동안 기다린 후 노드를 죽은 것으로 간주한다. 노드가 pod-eviction-timeout 이후에 다시 온라인 상태가 되었을 땐, 해당 노드는 빈 상태로 시작하며 어떠한 Pod도 스케줄되지 않는다. Blue Pod는 ReplicaSet이기 때문에 다른 노드에서 새로운 Pod가 생성되었지만, Green Pod는 ReplicaSet이 아니기 때문에 사라져버린다.

유지 보수 작업 수행

노드에서 유지 관리 작업을 수행해야 할 경우, 해당 노드에서 실행 중인 워크로드가 Replica를 가지고 있고, 짧은 시간 동안 중단되는 것이 괜찮다면 노드를 빠르게 업그레이드하고 재부팅할 수 있다. 하지만 노드가 5분 이내에 다시 온라인 상태로 복귀한다고 확신할 수 없기 때문에 안전한 방법을 사용해야 한다.

Drain, Cordon, Uncordon

kubectl drain node-1 명령을 통해 노드에서 모든 워크로드를 비운다. Drain을 사용하면 워크로드가 클러스터의 다른 노드로 이동하는데, 기술적으로 이동되는 것은 아니다. 노드를 드레인할 때, Pod는 현재 있는 노드에서 *우아하게 종료되고(gracefully terminated) 다른 노드에서 다시 생성된다. 이때 노드는 cordon 처리되어 스케줄할 수 없는 상태가 된다. 즉, 이 노드에서 명시적으로 제한을 제거하기 전까지 어떤 파드도 스케줄되지 않는다.

Drain을 통해 Pod가 다른 노드에 안전하게 이동되면, 노드를 재부팅할 수 있다. 노드가 다시 온라인 상태가 되면 여전히 스케줄할 수 없는 상태이기 때문에 Pod가 다시 해당 노드에 스케줄될 수 있도록 uncordon해야한다. kubectl uncordon node-1

drain, uncordon 과 같이 cordon도 명령어로 사용할 수 있다. cordon은 기존 노드의 파드를 종료하거나 이동시키지 않으며 단순히 스케줄링되지 않도록 보장하는 명령이다. kubectl cordon node-2

Gracefully Terminated(우아한 종료)란?

시스템이나 애플리케이션이 종료될 때, 운영 중인 작업이나 프로세스를 안전하게 마무리하고 필요한 정리 작업을 수행한 후에 종료되는 과정을 의미한다. 이 방식은 데이터 손실이나 상태 불일치를 방지한다.