Cilium - Hubble UI를 이용한 애플리케이션 시각화

Hubble은 클라우드 네이티브 워크로드를 위한 완전히 분산된 네트워킹 및 보안 관찰 플랫폼이다. Cilium 및 eBPF 를 기반으로 구축 되어 완전히 투명한 방식으로 네트워킹 인프라는 물론 서비스의 통신 및 동작에 대한 깊은 가시성을 제공한다. Hubble UI는 Cilium Hubble 용 오픈 소스 사용자 인터페이스이다. 

 

Hubble은 다음과 같은 궁금한 사항에 대한 답을 찾을 수 있는 Cilium의 오픈소스이다.

 

서비스 종속성 및 통신 맵:

• 어떤 서비스가 서로 통신하고 있습니까? 얼마나 자주? 서비스 종속성 그래프는 어떻게 생겼습니까?
• 어떤 HTTP 호출이 이루어지고 있습니까? 서비스는 어떤 Kafka 주제를 소비하거나 생산합니까?

운영 모니터링 및 경고:

• 네트워크 통신이 실패합니까? 왜 의사 소통이 실패합니까? DNS인가요? 애플리케이션 또는 네트워크 문제입니까? 레이어 4(TCP) 또는 레이어 7(HTTP)에서 통신이 끊어졌습니까?
• 지난 5분 동안 DNS 확인 문제가 발생한 서비스는 무엇입니까? 최근에 중단된 TCP 연결을 경험했거나 연결 시간이 초과된 서비스는 무엇입니까? 응답하지 않은 TCP SYN 요청의 비율은 얼마입니까?

애플리케이션 모니터링:

• 특정 서비스 또는 모든 클러스터에 대한 5xx 또는 4xx HTTP 응답 코드의 비율은 얼마입니까?
• 내 클러스터에서 HTTP 요청과 응답 사이의 95번째 및 99번째 백분위수 지연 시간은 얼마입니까? 어떤 서비스가 가장 성능이 좋지 않습니까? 두 서비스 간의 대기 시간은 얼마입니까?

보안 관찰 가능성:

• 네트워크 정책으로 인해 연결이 차단된 서비스는 무엇입니까? 클러스터 외부에서 어떤 서비스에 액세스했습니까? 어떤 서비스가 특정 DNS 이름을 확인했습니까?

 

Cilium과 Hubble 설치는 아래의 글들을 참고한다.

https://kmaster.tistory.com/80

https://docs.cilium.io/en/stable/gettingstarted/

 

이번에는 Kind+Cilium+Hubble이 설치된 Kubernetes Cluster에 Micro service application을 배포한 후 Hubble UI에서 어떻게 모니터링이 가능한지 확인해 보자.

 

이번에 배포할 MSA Sample applcation은 아래의 github 를 이용하였다.

https://github.com/microservices-demo/microservices-demo

GitHub - microservices-demo/microservices-demo: Deployment scripts & config for Sock Shop

 

샘플 애플리케이션은 양말을 판매하는 온라인 상점 앱이다. 마이크로서비스 및 클라우드 네이티브 기술의 데모 및 테스트를 지원하기 위한 것이다. 

사용 언어는 Spring Boot, Go, NodeJS 로 구축되어 있고, Container Image 또한 제공되고 있어, 간단히 배포 테스트하기에 좋은 샘플이다.

 

배포할 애플리케이션의 구성도는 아래와 같다.

출처 : https://github.com/microservices-demo/microservices-demo/blob/master/internal-docs/design.md

 

샘플배포

 

# git clone https://github.com/microservices-demo/microservices-demo.git
# cd microservices-demo/deploy/kubernetes
# kubectl create -f complete-demo.yaml

 

위와 같이 생성하면 sock-shop namespace가 생성되고 해당 namespace에 MSA Sample Pod들이 생성된다.

# k get all -n sock-shop
NAME                                READY   STATUS    RESTARTS   AGE
pod/carts-7bbf9dc945-cqhqn          1/1     Running   0          73m
pod/carts-db-67f744dd5f-tfps8       1/1     Running   0          73m
pod/catalogue-6479dbb5bd-nrc6t      1/1     Running   0          73m
pod/catalogue-db-6b55d8cdb7-tfgbd   1/1     Running   0          73m
pod/front-end-7f5c844b4c-6gdbg      1/1     Running   0          73m
pod/orders-74f65597c5-8hznf         1/1     Running   0          73m
pod/orders-db-b76d8c54c-2tg2d       1/1     Running   0          73m
pod/payment-c7df5b49-bwdf4          1/1     Running   0          73m
pod/queue-master-9fc44d68d-56p5h    1/1     Running   0          73m
pod/rabbitmq-6576689cc9-x6nrn       2/2     Running   0          73m
pod/session-db-695f7fd48f-gt9r2     1/1     Running   0          73m
pod/shipping-79c568cddc-gn2rn       1/1     Running   0          73m
pod/user-79dddf5cc9-r27kk           1/1     Running   0          73m
pod/user-db-b8dfb847c-5pntq         1/1     Running   0          73m

NAME                   TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)             AGE
service/carts          ClusterIP   10.96.94.134    <none>        80/TCP              73m
service/carts-db       ClusterIP   10.96.181.8     <none>        27017/TCP           73m
service/catalogue      ClusterIP   10.96.55.36     <none>        80/TCP              73m
service/catalogue-db   ClusterIP   10.96.162.124   <none>        3306/TCP            73m
service/front-end      NodePort    10.96.98.241    <none>        80:30001/TCP        73m
service/orders         ClusterIP   10.96.5.100     <none>        80/TCP              73m
service/orders-db      ClusterIP   10.96.238.84    <none>        27017/TCP           73m
service/payment        ClusterIP   10.96.236.37    <none>        80/TCP              73m
service/queue-master   ClusterIP   10.96.143.236   <none>        80/TCP              73m
service/rabbitmq       ClusterIP   10.96.27.3      <none>        5672/TCP,9090/TCP   73m
service/session-db     ClusterIP   10.96.132.79    <none>        6379/TCP            73m
service/shipping       ClusterIP   10.96.55.6      <none>        80/TCP              73m
service/user           ClusterIP   10.96.39.108    <none>        80/TCP              73m
service/user-db        ClusterIP   10.96.13.136    <none>        27017/TCP           73m

NAME                           READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/carts          1/1     1            1           73m
deployment.apps/carts-db       1/1     1            1           73m
deployment.apps/catalogue      1/1     1            1           73m
deployment.apps/catalogue-db   1/1     1            1           73m
deployment.apps/front-end      1/1     1            1           73m
deployment.apps/orders         1/1     1            1           73m
deployment.apps/orders-db      1/1     1            1           73m
deployment.apps/payment        1/1     1            1           73m
deployment.apps/queue-master   1/1     1            1           73m
deployment.apps/rabbitmq       1/1     1            1           73m
deployment.apps/session-db     1/1     1            1           73m
deployment.apps/shipping       1/1     1            1           73m
deployment.apps/user           1/1     1            1           73m
deployment.apps/user-db        1/1     1            1           73m

NAME                                      DESIRED   CURRENT   READY   AGE
replicaset.apps/carts-7bbf9dc945          1         1         1       73m
replicaset.apps/carts-db-67f744dd5f       1         1         1       73m
replicaset.apps/catalogue-6479dbb5bd      1         1         1       73m
replicaset.apps/catalogue-db-6b55d8cdb7   1         1         1       73m
replicaset.apps/front-end-7f5c844b4c      1         1         1       73m
replicaset.apps/orders-74f65597c5         1         1         1       73m

 

조회를 위한 ingress를 생성해 보자.

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: front-ingress
  namespace: sock-shop
spec:
  rules:
  - host: "front.10.10.100.10.nip.io"
    http:
      paths:
      - pathType: Prefix
        path: "/"
        backend:
          service:
            name: front-end
            port:
              number: 80

 

이제, 완료되었다. 서비스를 호출해 보자.

모니터링

 

Hubble UI에 접근 후 "Sock-shop" Namespace를 선택하면 아래와 같이 조회된다.

그림을 보면

• Ingress Service가 Front-end 서비스와 연결된 것을 볼 수 있다.
• User, Catalogue, Carts, Orders, Payment 서비스가 있다.
• Back-end 저장소로 catalogue-db, session-db, orders-db, user-db, carts-db, rabiitmq 가 보인다.

 

Hubble UI에서는 전체 상태를 볼 수 있고, 각 객체를 클릭하면 해당 Object에 연결된 상태를 상세조회 할 수 있는 Filter 기능을 제공한다.

 

1) Front-end network 연결상태

 

2) Payment 연결상태

 

3) rabbitmq 연결상태

 

4) Order 서비스 연결상태

 

하면 하단에는 Service의 Inbound/Outbound 의 통신 상태를 실시간으로 보여준다.

 

마이크로서비스 애플리케이션 연결 문제를 해결하는 것은 어려운 작업이다. 단순히 "kubectl get pods"를 보면 각 서비스나 외부 API 또는 데이터베이스 간의 종속성을 나타내지 않는다. Hubble UI는 Cilium의 eBPF 기능을 기반으로 완전히 투명한 방식으로 네트워킹 인프라는 물론 서비스의 통신 및 동작에 대한 깊은 가시성을 제공한다.

 

Hubble UI를 사용하면 L3/L4 및 L7에서 Kubernetes 클러스터에 대한 서비스 종속성 그래프를 손쉽게 자동으로 검색할 수 있으므로 이러한 데이터 흐름을 서비스 맵으로 사용자 친화적인 시각화 및 필터링이 가능하다..

 

MSA 구조에서 가장 많이 사용되는 플랫폼이 Istio이다. 하지만 Istio 는 또 다른 학습 곡선이 필요하고, 서비스간의 네트워크 모니터링을 위해 필요한 Envoy Proxy 부하가 발생하기 때문에 용량 산정할 때도 신중해야 한다. 물론 Hubble과는 다른 다양한 기능들이 있기 때문에 직접 비교하는 것은 맞지 않을 수 있다. 하지만 Istio 기반이 아닌 곳에서 MSA 구성 및 통신 방식의 가시성을 보기 위해서는 아주 좋은 솔루션인 것으로 보인다.