Kubernetes EndpointSlices

Deployment나 ReplicaSet으로 Pod를 여러개 생성하는 경우 Service 를 이용하여 Load Balancer 하도록 설정한다. Service는 Label을 사용하여 트래픽을 라우팅할 Pod를 선택하는 Kubernetes 추상화이다. 

 

아래와 같은 Service 를 만든 경우

apiVersion: v1
kind: Service
metadata:
  labels:
    app: production
  name: production
  namespace: test
spec:
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 8080
  selector:
    app: production
  type: ClusterIP

생성된 서비스의 상세정보를 보면 아래와 같다.

# k describe svc -n test production
Name:              production
Namespace:         test
Labels:            app=production
Annotations:       <none>
Selector:          app=production
Type:              ClusterIP
IP Family Policy:  SingleStack
IP Families:       IPv4
IP:                10.97.182.169
IPs:               10.97.182.169
Port:              http  80/TCP
TargetPort:        8080/TCP
Endpoints:         192.168.104.19:8080,192.168.166.136:8080
Session Affinity:  None
Events:            <none>

Endpoints 정보가 보인다. 2개의 Pod IP와 Port가 연결되도록 구성되어 있다.

여기서  Endpoint 객체를 확인해 보자.

# k get endpoints -n test production
NAME         ENDPOINTS                                  AGE
production   192.168.104.19:8080,192.168.166.136:8080   3d9h

아래와 같이 Pod의 IP 정보를 가지고 있다는 것을 확인 할 수 있다.

# kubectl get pod --selector=app=production -n test -o wide
NAME                          READY   STATUS    RESTARTS   AGE     IP                NODE    NOMINATED NODE   READINESS GATES
production-846769889f-g2dck   1/1     Running   0          3d9h    192.168.166.136   node1   <none>           <none>
production-846769889f-t8bwv   1/1     Running   0          5m55s   192.168.104.19    node2   <none>           <none>

동일한 Lable을 가진 Pod를 늘린다면 Endpoint에 추가된 Pod의 ip가 추가된다.

 

이러한 Endpoint객체를 통해 외부 시스템의 IP:Port를 연결할 수 있도록 구성할 수 있다.

아래와 같이 생성이 가능하다.

kind: Service
apiVersion: v1
metadata:
  name: external-svc
spec:
  ports:
    - name: web
      protocol: TCP
      port: 80
      targetPort: 80

kind: Endpoints
apiVersion: v1
metadata:
  name: external-svc
subsets: 
  - addresses:
        - ip: 10.20.200.200
    ports:
      - port: 80
        name: web

 

이렇게 Kubernetes 서비스가 Pod로의 트래픽 분배를 보장할 수 있도록 하기 위해 엔드포인트는 추상화 계층 역할을 하는 데 필요하다.

 

이 Endpoint의 가장 큰 문제는 스케일링이다. 

 

많은 수의 Pod 앞에 있는 서비스를 배포하면 각 Pod의 IP 주소와 포트 번호를 모두 포함하는 Endpoints 객체가 생성된다.

여기에서 문제는 서비스에서 포드를 추가하거나 제거할 때마다 전체 Endpoints 객체가 업데이트되고 네트워크를 통해 모든 노드로 전송된다. 

 

이 문제를 완화하기 위해 EndpointSlices 객체가 새롭게 추가되었다 ( Kubernetes 1.21에서 stable 상태 )

 

EndpointSlices는 엔드포인트에 보다 확장 가능한 대안을 제공할 수 있는 API 리소스이다. 개념적으로 Endpoint와 매우 유사하지만, EndpointSlices를 사용하면 여러 리소스에 네트워크 Endpoint를 분산시킬 수 있다. 기본적으로, EndpointSlices는 100개의 Endpoint에 도달하면 "가득찬 것"로 간주되며, 추가 Endpoint를 저장하기 위해서는 추가 EndpointSlices가 생성된다.

 

https://kubernetes.io/blog/2020/09/02/scaling-kubernetes-networking-with-endpointslices/

 

이렇게 EndpointSlices 를 관리함으로써

 

• 네트워크 트래픽을 줄일 수 있다.
• 컨트롤 플레인 및 노드의 성능 저하 방지
• 규모에 따라 더 나은 성능과 안정성을 제공할 수 있다.

EndpointSlices 는 일련의 네트워크 엔드포인트에 대한 참조를 포함한다. 쿠버네티스 서비스에 Selector가 지정되면 컨트롤 플레인은 자동으로 EndpointSlices 를 생성한다.

# k get endpointslices -n test production-grzkn
NAME               ADDRESSTYPE   PORTS   ENDPOINTS                        AGE
production-grzkn   IPv4          8080    192.168.166.136,192.168.104.19   3d9h

# k describe endpointslices -n test production-grzkn
Name:         production-grzkn
Namespace:    test
Labels:       app=production
              endpointslice.kubernetes.io/managed-by=endpointslice-controller.k8s.io
              kubernetes.io/service-name=production
Annotations:  endpoints.kubernetes.io/last-change-trigger-time: 2022-09-06T13:42:49Z
AddressType:  IPv4
Ports:
  Name  Port  Protocol
  ----  ----  --------
  http  8080  TCP
Endpoints:
  - Addresses:  192.168.166.136
    Conditions:
      Ready:    true
    Hostname:   <unset>
    TargetRef:  Pod/production-846769889f-g2dck
    NodeName:   node1
    Zone:       <unset>
  - Addresses:  192.168.104.19
    Conditions:
      Ready:    true
    Hostname:   <unset>
    TargetRef:  Pod/production-846769889f-t8bwv
    NodeName:   node2
    Zone:       <unset>
Events:         <none>

EndpointSlices가 결국 Endpoints를 대체할 수 있지만 많은 Kubernetes 구성 요소는 여전히 Endpoints에 의존한다. 
현재로서는 EndpointSlices를 활성화하는 것이 클러스터의 엔드포인트에 대한 대체가 아니라 추가로 간주되어야 한다.
EndpointSlices는 Kubernetes1.18부터 기본적으로 활성화 되어 있고, Kubernetes 1.19부터 kube-proxy가 EndpointSlices를 사용하도록 구성되도록 활성화 되어 있다.