Kubernetes 이야기

BuildKit 빌드

kmaster — Wed, 22 Apr 2026 13:20:00 +0900

buildkit으로 이미지 빌드 후 K8S에 배포하는 방법에 대해 알아보자. 핵심은 BuildKit 데몬을 클러스터 내에 띄우고, buildctl 클라이언트로 빌드를 트리거한 뒤, 빌드된 이미지를 private registry에 push하고, 그 이미지를 참조하는 Pod를 배포하는 흐름이다.

1. BuildKit 데몬 배포 (rootless, StatefulSet)

apiVersion: v1
kind: ServiceAccount
metadata:
  name: buildkit
  namespace: build-system
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: buildkitd
  namespace: build-system
spec:
  serviceName: buildkitd
  replicas: 2  # 동시 빌드 처리량에 맞춰 조정
  selector:
    matchLabels:
      app: buildkitd
  template:
    metadata:
      labels:
        app: buildkitd
      annotations:
        container.apparmor.security.beta.kubernetes.io/buildkitd: unconfined
        container.seccomp.security.alpha.kubernetes.io/buildkitd: unconfined
    spec:
      serviceAccountName: buildkit
      containers:
        - name: buildkitd
          image: moby/buildkit:v0.13.2-rootless
          args:
            - --addr
            - unix:///run/user/1000/buildkit/buildkitd.sock
            - --addr
            - tcp://0.0.0.0:1234
            - --oci-worker-no-process-sandbox
          readinessProbe:
            exec:
              command: ["buildctl", "debug", "workers"]
            initialDelaySeconds: 5
            periodSeconds: 30
          livenessProbe:
            exec:
              command: ["buildctl", "debug", "workers"]
            initialDelaySeconds: 5
            periodSeconds: 30
          securityContext:
            seccompProfile:
              type: Unconfined
            runAsUser: 1000
            runAsGroup: 1000
          ports:
            - containerPort: 1234
          volumeMounts:
            - name: buildkitd
              mountPath: /home/user/.local/share/buildkit
  volumeClaimTemplates:
    - metadata:
        name: buildkitd
      spec:
        accessModes: ["ReadWriteOnce"]
        resources:
          requests:
            storage: 30Gi  # 캐시 용량
---
apiVersion: v1
kind: Service
metadata:
  name: buildkitd
  namespace: build-system
spec:
  selector:
    app: buildkitd
  ports:
    - port: 1234
      targetPort: 1234
  clusterIP: None  # headless, StatefulSet pod별 직접 접근

rootless를 권장하는 이유: privileged 컨테이너가 필요 없고 PSA(Pod Security Admission) restricted 네임스페이스에서도 동작 가능. 다만 OverlayFS가 fuse-overlayfs로 fallback되므로 빌드 속도는 약간 저하됨. 성능이 우선이라면 moby/buildkit:v0.13.2 (rootful) + securityContext.privileged: true로 변경.

2. Registry 인증용 Secret

kubectl -n build-system create secret docker-registry regcred \
  --docker-server=harbor.registry.local \
  --docker-username=builder \
  --docker-password='****' \
  --docker-email=kmaster8k@gmail.com

3. 빌드 Job (buildctl 클라이언트 + Git context)

apiVersion: batch/v1
kind: Job
metadata:
  name: build-myapp-001
  namespace: build-system
spec:
  backoffLimit: 0
  template:
    spec:
      restartPolicy: Never
      containers:
        - name: buildctl
          image: moby/buildkit:v0.13.2-rootless
          command: ["sh", "-c"]
          args:
            - |
              buildctl \
                --addr tcp://buildkitd-0.buildkitd.build-system.svc.cluster.local:1234 \
                build \
                --frontend=dockerfile.v0 \
                --opt context=https://github.com/git/example-dockerfile-python.git#master \
                --opt filename=Dockerfile \
                --output type=image,name=harbor.registry.local/apps/helloworld:v1.0.0,push=true
          env:
            - name: DOCKER_CONFIG
              value: /home/user/.docker
          volumeMounts:
            - name: docker-config
              mountPath: /home/user/.docker
              readOnly: true
      volumes:
        - name: docker-config
          secret:
            secretName: regcred
            items:
              - key: .dockerconfigjson
                path: config.json

핵심 포인트:

context=https://... — Git URL을 직접 전달하면 별도 sidecar로 clone할 필요 없음. 로컬 디렉터리를 보내려면 buildctl build --local context=. --local dockerfile=. 패턴 사용 (이 경우 kubectl exec 또는 stdin 스트리밍 필요).
output=type=image,push=true — 빌드 직후 바로 registry로 push.

kubernetes에서 nvidia gpu 공유하기

kmaster — Mon, 2 Mar 2026 19:08:47 +0900

최근 AI 워크로드가 kubernetes위에 배포되어 운영되는 사례가 증가하고 있다. kubernetes에서 nvidia gpu를 여러 instance 로 사용하기 위해서는 대표적으로 mig, time slicing, multi-process server (mps) 방식이 있다. 이 외에 가상화를 이용한 vGPU ( vGPU 라이선스 필요 ) 기술도 있다.

이 중 gpu 공유기술의 대표적인 mig, time slicing, multi-process server (mps) 를 알아보자. 아래 그림은 time slicing, mps, mig 를 이해하기 쉽게 표현한 그림이다.

출처 : https://www.flaticon.com/kr/free-icon/gpu_1089003?related_id=1088744&origin=search

항목	MIG	MPS	Time-Slicing
지원 GPU	A30, A100, H100, B100 등 ( MIG 를 지원하는 GPU 모델이 존재함 )	Volta 이상 권장	대부분의 GPU가 지원
격리 수준
메모리	하드웨어 레벨 완전 격리	격리 없음	격리 없음
컴퓨팅	SM (Streaming Multiprocessor) 파티셔닝	부분 격리 ( SM 비율 지정 )	격리 없음
장애	장애 전파 없음	한 프로세스 장애 시 전체 영향	한 프로세스 장애 시 전체 영향
리소스 분할
분할 방식	GPU를 인스턴스로 분할 (pod 할당 시에는 nvidia.com/mig-1g.6gb: "1" 와 같이 프로파일 이름으로 할당해야 함)	SM 비율(%) 기반 분할	시간 기반 교대 사용 (라운드로빈 스케줄링)
분한 단위	GPU Instance	프로세스 단위 SM 비율	컨테이너/프로세스 단위
최대 공유 수	최대 7개 인스턴스	최대 48개 클라이언트	제한 없음
메모리 할당	고정 할당	동적 할당 (전체 메모리 공유)	동적 할당 (전체 메모리 공유)
성능
오버헤드	거의 없음	낮음	높음 ( 컨텍스트 스위칭 )
동시 실행	각 인스턴스 독립 동시 실행	커널 레벨 동시 실행	순차 실행
지연 시간	낮음	낮음	높음
K8S 사용
필수 Plugin	nvidia-device-plugin (strategy: mig)	nvidia-device-plugin (strategy: mps, K8s 1.28+)	nvidia-device-plugin (strategy: time-slicing)
리소스 요청	nvidia.com/mig-1g.6gb: 1 ( kubectl describe node 정보의 Labels을 참고하면 된다.)	nvidia.com/gpu: 1 또는 nvidia.com/gpu.shared: 1 (설정에 따라 다름)	nvidia.com/gpu: 1
설정 복잡도	높음 (프로파일 계획 필요, 재구성 시 GPU 리셋 필요)	중간 (MPS 데몬 관리 필요)	낮음 (ConfigMap 설정만으로 가능)
모니터링 (prometheus exporter 기준)	전체 지원	일부지원	N/A

운영에서는 가급적 MIG를 추천하지만, 개발환경에서는 MPS나 Time-Slicing 방식이 적합할 것 같다.

참고문서

https://github.com/NVIDIA/k8s-device-plugin
https://docs.nvidia.com/deploy/mps/when-to-use-mps.html
https://docs.nvidia.com/deploy/mps/architecture.html
https://docs.nvidia.com/datacenter/cloud-native/gpu-operator/latest/gpu-sharing.html
https://www.researchgate.net/figure/Multi-Stream-MPS-and-MIG-Illustration-ture-Figure-2-a-As-a-software-based_fig1_359309310

https://developer.nvidia.com/blog/improving-gpu-utilization-in-kubernetes/#:~:text=You%20can%20take%20the%20oversubscription%20strategy%20described,to%20execute%20in%20parallel%20on%20the%20GPU.

nvidia k8s device driver 및 dcgm 설치

kmaster — Sat, 11 May 2024 23:02:40 +0900

Kubernetes에서 nvidia gpu 를 사용하고, prometheus로 gpu 모니터링을 위한 절차를 알아보자.

설치 전 nvidia driver는 노드에 설치되어 있어야 한다.

설치

1. container-toolkit 설치

curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | \
  sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

sudo yum-config-manager --enable nvidia-container-toolkit-experimental

sudo yum install -y nvidia-container-toolkit

설치 후 설정

sudo nvidia-ctk runtime configure --runtime=containerd
sudo systemctl restart containerd

2, kubernetes에 GPU 활성화

$ kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.15.0/deployments/static/nvidia-device-plugin.yml

테스트

$ cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: gpu-pod
spec:
  restartPolicy: Never
  containers:
    - name: cuda-container
      image: nvcr.io/nvidia/k8s/cuda-sample:vectoradd-cuda10.2
      resources:
        limits:
          nvidia.com/gpu: 1 # requesting 1 GPU
  tolerations:
  - key: nvidia.com/gpu
    operator: Exists
    effect: NoSchedule
EOF

$ k logs -f -n default gpu-pod
[Vector addition of 50000 elements]
Copy input data from the host memory to the CUDA device
CUDA kernel launch with 196 blocks of 256 threads
Copy output data from the CUDA device to the host memory
Test PASSED
Done

모니터링

NVIDIA DCGM은 대규모 Linux 기반 클러스터 환경에서 NVIDIA GPU를 관리하고 모니터링하기 위한 도구 세트이다.

$ helm repo add gpu-helm-charts https://nvidia.github.io/dcgm-exporter/helm-charts
$ helm repo update

$ helm install \
    --generate-name \
    gpu-helm-charts/dcgm-exporter -n kube-system

이렇게 설치하면 dcgm을 위한 servicemonitor가 생성된다.

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  annotations:
    meta.helm.sh/release-name: dcgm-exporter-1715426946
    meta.helm.sh/release-namespace: kube-system
  generation: 1
  labels:
    #app.kubernetes.io/component: dcgm-exporter
    #app.kubernetes.io/instance: dcgm-exporter-1715426946
    #app.kubernetes.io/managed-by: Helm
    #app.kubernetes.io/name: dcgm-exporter
    #app.kubernetes.io/version: 3.4.1
    #helm.sh/chart: dcgm-exporter-3.4.1
    release: prometheus
  name: dcgm-exporter-1715426946
  namespace: kube-system
spec:
  endpoints:
  - interval: 15s
    path: /metrics
    port: metrics
    relabelings: []
  namespaceSelector:
    matchNames:
    - kube-system
  selector:
    matchLabels:
      app.kubernetes.io/component: dcgm-exporter
      app.kubernetes.io/instance: dcgm-exporter-1715426946
      app.kubernetes.io/name: dcgm-exporter

여기서 label -> release: prometheus 를 설정한다. ( 필자는 https://github.com/prometheus-community/helm-charts/ 차트를 이용하여 설치한 helm install 이름을 사용하였다. )

참고

https://github.com/NVIDIA/k8s-device-plugin

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

https://github.com/NVIDIA/dcgm-exporter

OpenSearch 및 Fluent Bit로 Kubernetes Event 및 Container 로그 저장하기

kmaster — Mon, 6 May 2024 22:54:24 +0900

OpenSearch

OpenSearch는 Amazon에서 만든 OpenSearch 프로젝트는 이전 버전의 Elasticsearch와 Kibana를 기반으로 하는 포크(fork)된 검색 프로젝트 로 Apache 2.0 라이선스 하에 제공되는 분산형 커뮤니티 기반 100% 오픈 소스 검색 및 분석 제품군군이다. 실시간 애플리케이션 모니터링, 로그 분석 및 웹 사이트 검색과 같이 다양한 사용 사례에 사용된다. OpenSearch는 데이터 탐색을 쉽게 해주는 통합 시각화 도구 OpenSearch 대시보드와 함께 대량 데이터 볼륨에 빠르게 액세스하고 응답하며 뛰어난 확장성을 지닌 시스템을 제공한다. OpenSearch는 Apache Lucene 검색 라이브러리로 구동되며 k-nearest neighbors(KNN) 검색, SQL, Anomaly Detection, Machine Learning Commons, Trace Analytics, 전체 텍스트 검색 등 다수의 검색 및 분석 기능을 지원한다.

설치

$ helm repo add opensearch https://opensearch-project.github.io/helm-charts/
$ helm repo update
$ helm pull opensearch/opensearch --untar

values를 알맞게 수정한다.

extraEnvs:
#  - name: MY_ENVIRONMENT_VAR
#    value: the_value_goes_here
# Chart version 2.18.0 and App Version OpenSearch 2.12.0 onwards a custom strong password needs to be provided in order to setup demo admin user.
# Cluster will not spin-up without this unless demo config install is disabled.
  - name: OPENSEARCH_INITIAL_ADMIN_PASSWORD
    value: test#2321

테스트

$ curl -u "admin:test#2321" -k https://ip:9200/_cat/indices?v
health status index                           uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .ql-datasources                 XPSbtmETT5-kkUhEwwg5Lw   1   0          0            0       208b           208b
green  open   .kibana_92668751_admin_1        ic6oGRFtSkyf48Uh5vaMeQ   1   0          6            0     30.5kb         30.5kb
green  open   .opendistro-reports-definitions 8pWzhdq9R7akVZHCUff5VQ   1   0          0            0       208b           208b
green  open   .opendistro_security            55f_ZSZtSTaU0cMM-_q0fA   1   0         10            0     79.1kb         79.1kb
green  open   .kibana_1                       RbiAx1inRLKhk4ut-PQ_4w   1   0          7            1     40.7kb         40.7kb
green  open   .opendistro-reports-instances   FZ0MdanlRIONmCGju_TJOA   1   0          1            0      6.6kb          6.6kb
green  open   .tasks                          jl4FOIBfSHG4iFBfy2gjrg   1   0          3            0     20.7kb         20.7kb
green  open   .plugins-ml-config              1rrI3UiSSxGDcxWWC3KumA   1   0          1            0      3.9kb          3.9kb
green  open   .opensearch-observability       kCXF5ml5R_amxBMuQtM66A   1   0          1            0      6.3kb          6.3kb

Fluent Bit

Fluent Bit 는 Linux, macOS, Windows 및 BSD 제품군 운영 체제용 로그, 지표 및 추적을 위한 빠르고 가벼운 원격 측정 에이전트이다. 복잡성 없이 다양한 소스에서 원격 측정 데이터를 수집하고 처리할 수 있도록 성능에 중점을 두고 만들어졌다.

주요특징

고성능: 낮은 리소스 소비로 높은 처리량
데이터 분석
- JSON , Regex , LTSV 및 Logfmt 파서를 사용하여 구조화되지 않은 메시지를 변환
측정항목 지원: Prometheus 및 OpenTelemetry 호환
신뢰성 및 데이터 무결성
네트워킹
- 보안: 내장형 TLS/SSL 지원
- 비동기 I/O
플러그형 아키텍처 및 확장성 : 입력, 필터 및 출력
- 기존 플러그인을 사용하여 거의 모든 소스를 거의 모든 대상에 연결
모니터링 : HTTP를 통해 JSON 및 Prometheus 형식 으로 내부 측정항목을 노출
스트림 처리 : 간단한 SQL 쿼리를 사용하여 데이터 선택 및 변환 수행
- 쿼리 결과를 사용하여 새로운 데이터 스트림 생성
- 집계 창
- 데이터 분석 및 예측: 시계열 예측
휴대용: Linux, macOS, Windows 및 BSD 시스템에서 실행

설치

$ helm repo add fluent https://fluent.github.io/helm-charts
$ helm repo update
$ helm pull fluent/fluent-bit --untar
$ kubectl create ns fluent-bit

values 수정

[values]
rbac:
  create: true
  nodeAccess: true
  eventsAccess: true


  inputs: |
    [INPUT]
        Name tail
        Path /var/log/containers/*.log
        multiline.parser docker, cri
        Tag kube.*
        Mem_Buf_Limit 5MB
        Skip_Long_Lines On

    [INPUT]
        Name systemd
        Tag host.*
        Systemd_Filter _SYSTEMD_UNIT=kubelet.service
        Read_From_Tail On

    [INPUT]
        name            kubernetes_events
        tag             k8s_events
        kube_url        https://kubernetes.default.svc


  outputs: |
    [OUTPUT]
        Name es
        Match kube.*
        Host opensearch-cluster-master.opensearch.svc
        Port            9200
        tls             On
        tls.verify      Off
        http_user       admin
        http_passwd     test#2321
        Logstash_Format On
        Retry_Limit False
        Suppress_Type_Name On

    [OUTPUT]
        Name es
        Match host.*
        Host opensearch-cluster-master.opensearch.svc
        Port            9200
        tls             On
        tls.verify      Off
        http_user       admin
        http_passwd     test#2321
        Logstash_Format On
        Logstash_Prefix node
        Retry_Limit False
        Suppress_Type_Name On

    [OUTPUT]
        name            opensearch
        match           k8s_events
        Host            opensearch-cluster-master.opensearch.svc
        Port            9200
        tls             On
        tls.verify      Off
        http_user       admin
        http_passwd     test#2321
        logstash_format true
        logstash_prefix kubernetes-events
        Suppress_Type_Name On

설치 실행

helm upgrade --install fluent-bit . -f values.yaml -n fluent-bit

모니터링을 위해 OpenSearch Dashboard를 설치해 보자.

* OpenSearch Dashboard

$ helm pull opensearch/opensearch-dashboards --untar
$ helm upgrade --install opensearch-dashboards . -f values.yaml -n opensearch

이제 OpenSearch Dashboard에 접속하여 생성된 Event 로깅을 살펴보자.

온라인 서빙과 배치 서빙

kmaster — Mon, 6 May 2024 22:53:20 +0900

기계 학습 모델을 제공한다는 것은 사용자에게 실시간 예측을 제공하거나 오프라인 사용을 위한 일괄 예측을 제공하기 위해 예측 또는 추론에 사용할 수 있도록 하는 것을 의미한다.

모델 서빙과 관련된 다양한 오픈소스가 있으니, 간단한 모델의 경우 Framework보다 Flask나 Fastapi로 구현하는 경우가 실제 많다. MLFlow에 저장된 모델을 사용하여 온라인 서빙 또는 배치 서빙 하는 방법을 알아보자.

온라인 서빙 (Online Serving)

온라인 서빙은 실시간 또는 거의 실시간 응답을 제공해야 하는 경우에 적합하다. API를 통해 요청이 들어오면 바로 결과를 반환하게 된다.

구현 방법:

FastAPI 또는 Flask 사용: REST API 서버를 구축하는 데 FastAPI 또는 Flask 같은 웹 프레임워크를 사용
모델 로드 및 인퍼런스:
- MLflow로 모델을 로드
- 로드된 모델을 사용하여 예측을 수행
모니터링:
- 예측 성능, 서버 부하, 에러 등을 모니터링하여 서빙 상태를 추적

예시 코드:

from fastapi import FastAPI, HTTPException
import mlflow.pyfunc
import pandas as pd
from pydantic import BaseModel

# FastAPI 앱 생성
app = FastAPI()

# MLflow 모델 로드 (예: "runs:/<your_run_id>/model")
model_uri = "runs:/<your_run_id>/model"
model = mlflow.pyfunc.load_model(model_uri)

class ModelInput(BaseModel):
    feature1: float
    feature2: float
    feature3: float
    feature4: float

@app.post("/predict")
def predict(input_data: ModelInput):
    try:
        data_df = pd.DataFrame([input_data.dict()])
        prediction = model.predict(data_df)
        return {"prediction": prediction.tolist()}
    except Exception as e:
        raise HTTPException(status_code=400, detail=str(e))

배치 서빙 (Batch Serving)

배치 서빙은 대량의 데이터를 한 번에 처리하는 경우에 적합하다. 배치 작업은 일반적으로 예약된 일정에 따라 또는 이벤트에 의해 트리거된다.

구현 방법:

데이터 소스 및 대상 정의:
- 데이터를 어디에서 가져오고, 결과를 어디에 저장할지 결정한다. 예를 들어, S3 버킷이나 데이터베이스.
MLflow 모델 로드 및 배치 인퍼런스:
- MLflow로 모델을 로드
- 데이터를 불러와 배치로 예측을 수행
배치 작업 스케줄링:
- 작업 예약을 위해 스케줄링 도구를 사용
- Airflow나 Argo Workflow등을 사용하면 데이터 파이프라인 자동화 및 워크플로 관리에 도움이 된다.

예시 코드:

import mlflow.pyfunc
import pandas as pd

# MLflow 모델 로드
model_uri = "runs:/<your_run_id>/model"
model = mlflow.pyfunc.load_model(model_uri)

# 데이터 로드 (예: CSV 파일로부터)
data = pd.read_csv("input_data.csv")

# 모델로 배치 예측 수행
predictions = model.predict(data)

# 결과 저장 (예: CSV 파일로 저장)
output_data = pd.DataFrame(predictions, columns=["predictions"])
output_data.to_csv("output_predictions.csv", index=False)

통합 및 최적화 고려 사항

인프라 관리: Kubernetes나 Docker 등을 사용해 온라인 및 배치 서빙을 확장성 있게 관리
로깅 및 모니터링:
- 예측 결과 및 성능 지표를 기록하고 분석
- Prometheus, Grafana 등의 모니터링 시스템을 사용해 서버 상태를 추적
보안: API 요청과 데이터 저장 시 암호화 및 인증 메커니즘을 적용
자동화: CI/CD 파이프라인을 구축해 모델 업데이트 시 자동으로 재배포

이러한 방법을 통해 온라인 서빙과 배치 서빙을 모두 커버하는 모델 서빙 솔루션을 구축할 수 있다.

kr8s - Kubernetes용 Python 클라이언트 라이브러리

kmaster — Sun, 31 Dec 2023 22:54:51 +0900

Kubernetes Python 클라이언트 라이브러리는 보통 다음을 참고하여 개발한다.

https://github.com/kubernetes-client

Kubernetes Clients

This organization hosts Kubernetes API client libraries. - Kubernetes Clients

github.com

kubernetes-client 는 asynio를 지원하지 않기 때문에 이런 경우에는 kubernetes-asyncio를 사용하기도 한다.

https://github.com/tomplus/kubernetes_asyncio

GitHub - tomplus/kubernetes_asyncio: Python asynchronous client library for Kubernetes http://kubernetes.io/

Python asynchronous client library for Kubernetes http://kubernetes.io/ - GitHub - tomplus/kubernetes_asyncio: Python asynchronous client library for Kubernetes http://kubernetes.io/

github.com

여러 오픈소스들 중 kubernetes python client로 kr8s를 살펴보자. kr8s는 매우 명확하고 읽기 쉽게 개발을 진행할 수 있는 장점이 있다. 간단히 pod list를 조회하는 예제를 살펴보자.

kubernetes-client

from kubernetes import client, config

selector = {'component': 'kube-scheduler'}
selector_str = ",".join([f"{key}={value}" for key, value in selector.items()])

config.load_kube_config()

v1 = client.CoreV1Api()
for pods in v1.list_pod_for_all_namespaces(label_selector=selector_str, ).items:
    print(pod.metadata.namespace, pod.metadata.name)

kr8s

import kr8s

selector = {'component': 'kube-scheduler'}

for pod in kr8s.get("pods", namespace=kr8s.ALL, label_selector=selector):
    print(pod.namespace, pod.name)

한 눈에 봐도 kr8s가 간결하다는 것을 알 수 있다. 또하는 asyncio도 kubernetes_asyncio 와 비교하면 간결하다.

kubernetes_asyncio

from kubernetes_asyncio import client, config
from kubernetes_asyncio.client.api_client import ApiClient

await config.load_kube_config()

async with ApiClient() as api:
    v1 = client.CoreV1Api(api)
    nodes = await v1.list_node()
    for node in nodes.items:
        print(node.metadata.name)

kr8s

import kr8s.asyncio

for node in await kr8s.asyncio.get("nodes"):
    print(node.name)

또한, 몇 가지 유용한 기능들을 제공한다.

1) pod gen 기능

from kr8s.objects import Pod
pod = Pod.gen(name="my-pod", image="my-image")
pod.create()

2) owner reference 설정

from kr8s.objects import Deployment, Pod
deployment = Deployment.get("my-deployment")
pod = Pod.get("my-pod")
deployment.adopt(pod)

kr8s 홈페이지로 접속하면 object들에 대한 상세 function 들을 조회할 수 있다.

Ollama and Chainlit으로 Langchain과 RAG 구현하기

kmaster — Sat, 30 Dec 2023 23:26:26 +0900

최근 유행하고 있는 벡터 저장소와 같은 외부 데이터 아카이브를 사용하여 LLM의 응답 품질을 향상시킬 수 있는 기술인 LangChain 및 RAG를 사용하는 방법을 알아보자.

우선 LangChain 에 대해 알아보자.

LangChain

LangChain은 언어 모델을 기반으로 하는 애플리케이션을 개발하기 위한 프레임워크이다. 이는 다음과 같은 애플리케이션을 가능하게 한다.

상황 인식 : 언어 모델을 상황 소스 (즉시 지침, 몇 가지 예시, 응답을 기반으로 하는 콘텐츠 등)에 연결
이유 : 언어 모델을 사용하여 추론 (제공된 맥락에 따라 답변하는 방법, 취해야 할 조치 등에 대해)

구성요소

RAG ( Retrieval-Augmented Generation )

RAG는 LLM에게 미리 질문과 관련된 참고자료를 알려준다. 이렇게 하면 보다 정확하게 대답을 생성할 수 있다. ChatPDF 같은 서비스가 대표적인 예이다.

RAG를 사용하면 추론 시 외부 데이터 저장소를 사용하여 보다 풍부한 프롬프트를 생성함으로써 모델의 응답 품질을 향상시킬 수 있다.

RAG에는 다음의 요소가 연관되어 있다.

Vector Database
PDF나 HTML 등 데이터

Ollama란

Ollama는 로컬 사용을 위해 오픈 소스 모델을 얻을 수 있도록 지원한다. Ollama는 도커 이미지로 액세스할 수 있으므로 개인화된 모델을 도커 컨테이너로 배포할 수 있다.

설치

curl https://ollama.ai/install.sh | sh

원하는 모델 실행

[root@master ~]# # ollama run mistral

pulling manifest
pulling 8934d96d3f08...   3% ▕███

Chainlit

Chainlit은 자체 비즈니스 로직과 데이터를 사용하여 Chat GPT와 같은 애플리케이션을 매우 빠르게 구축할 수 있게 해주는 오픈 소스 Python 패키지이다.

예제

예제는 구조는 다음과 같다.

https://medium.aiplanet.com/implementing-rag-using-langchain-ollama-and-chainlit-on-windows-using-wsl-92d14472f15d

예제를 만들기전에 우선 jupyterlab을 kubernetes에서 실행 후 아래의 패키지를 설치한다.

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: jupyterlab-pvc
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: openebs-hostpath
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: jupyterlab
  labels:
    name: jupyterlab
spec:
  replicas: 1
  selector:
    matchLabels:
      name: jupyterlab
  template:
    metadata:
      labels:
        name: jupyterlab
    spec:
      securityContext:
        runAsUser: 0
        fsGroup: 0
      containers:
        - name: jupyterlab
          image: jupyter/datascience-notebook:latest
          imagePullPolicy: IfNotPresent
          ports:
          - containerPort: 8888
          command:
            - /bin/bash
            - -c
            - |
              start.sh jupyter lab --LabApp.token='password' --LabApp.ip='0.0.0.0' --LabApp.allow_root=True
          volumeMounts:
            - name: jupyterlab-data
              mountPath: /home/jovyan
          resources:
            requests:
              memory: 500Mi
              cpu: 250m
      restartPolicy: Always
      volumes:
      - name: jupyterlab-data
        persistentVolumeClaim:
          claimName: jupyterlab-pvc
---
apiVersion: v1
kind: Service
metadata:
  name: jupyterlab
  labels:
    name: jupyterlab
spec:
  type: NodePort
  ports:
    - port: 80
      targetPort: 8888
      nodePort: 31300
      protocol: TCP
      name: http
    - port: 9000
      targetPort: 9000
      nodePort: 31301
      protocol: TCP
      name: http
  selector:
    name: jupyterlab

pip install chromadb
pip install langchain
pip install BeautifulSoup4
pip install gpt4all
pip install langchainhub
pip install pypdf
pip install chainlit

이제 chromadb에 검색에 참조하기 위한 PDF 문서에 대한 전처리를 수행한다. pdf파일은 "https://www.tutorialspoint.com/apache_spark/apache_spark_tutorial.pdf" 으로 하였다.

from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.document_loaders import PyPDFLoader, DirectoryLoader
from langchain.document_loaders.pdf import PyPDFDirectoryLoader
from langchain.document_loaders import UnstructuredHTMLLoader, BSHTMLLoader
from langchain.vectorstores import Chroma
from langchain.embeddings import GPT4AllEmbeddings
from langchain.embeddings import OllamaEmbeddings  

import os

DATA_PATH="data/"
DB_PATH = "vectorstores/db/"

def create_vector_db():
    loader = PyPDFDirectoryLoader(DATA_PATH)
    documents = loader.load()
    print(f"Processed {len(documents)} pdf files")
    text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=50)
    texts=text_splitter.split_documents(documents)
    vectorstore = Chroma.from_documents(documents=texts, embedding=GPT4AllEmbeddings(),persist_directory=DB_PATH)      
    vectorstore.persist()

if __name__=="__main__":
    create_vector_db()

실행 하면 다음과 같이 수행되고, vectorstores폴더에 vector데이터가 저장된다.

이제 chainlit을 사용하여 챗봇을 만들어보자.

#import required dependencies
from langchain import hub
from langchain.embeddings import GPT4AllEmbeddings
from langchain.vectorstores import Chroma
from langchain.llms import Ollama
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
import chainlit as cl
from langchain.chains import RetrievalQA,RetrievalQAWithSourcesChain
# Set up RetrievelQA model
QA_CHAIN_PROMPT = hub.pull("rlm/rag-prompt-mistral")

#load the LLM
def load_llm():
 llm = Ollama(
 model="mistral",
 base_url = "http://10.10.0.5:11434",
 verbose=True,
 callback_manager=CallbackManager([StreamingStdOutCallbackHandler()]),
 )
 return llm


def retrieval_qa_chain(llm,vectorstore):
 qa_chain = RetrievalQA.from_chain_type(
    llm,
    retriever=vectorstore.as_retriever(),
    chain_type_kwargs={"prompt": QA_CHAIN_PROMPT},
    return_source_documents=True,
)
 return qa_chain


def qa_bot(): 
 llm=load_llm() 
 DB_PATH = "vectorstores/db/"
 vectorstore = Chroma(persist_directory=DB_PATH, embedding_function=GPT4AllEmbeddings())

 qa = retrieval_qa_chain(llm,vectorstore)
 return qa 

@cl.on_chat_start
async def start():
 chain=qa_bot()
 msg=cl.Message(content="Firing up the research info bot...")
 await msg.send()
 msg.content= "Hi, welcome to research info bot. What is your query?"
 await msg.update()
 cl.user_session.set("chain",chain)

@cl.on_message
async def main(message):
 chain=cl.user_session.get("chain")
 cb = cl.AsyncLangchainCallbackHandler(
 stream_final_answer=True,
 answer_prefix_tokens=["FINAL", "ANSWER"]
 )
 cb.answer_reached=True
 # res=await chain.acall(message, callbacks=[cb])
 res=await chain.acall(message.content, callbacks=[cb])
 print(f"response: {res}")
 answer=res["result"]
 answer=answer.replace(".",".\n")
 sources=res["source_documents"]

 if sources:
  answer+=f"\nSources: "+str(str(sources))
 else:
  answer+=f"\nNo Sources found"

 await cl.Message(content=answer).send()

여기서 llm을 load시 Ollama를 사용하는데 별다른 설정이 없으면 "127.0.0.1:11434" 로 요청한다. 필자는 Kubernetes환경에 jupyter에 코드를 실행하고, Ollama는 외부 서버에 있어 host정보를 추가하였다.

그리고, ollama 서버도 다음과 같이 host를 지정하여 기동해야 한다.

[root@master ~]# export OLLAMA_HOST=0.0.0.0:11434
[root@master ~]# ollama serve

이제 chainlit 프로그램을 실행해 보자.

chainlit run RAG.py --port 9000 --host 0.0.0.0
2023-12-30 14:02:12 - Your app is available at http://localhost:9000
bert_load_from_file: gguf version     = 2
bert_load_from_file: gguf alignment   = 32
bert_load_from_file: gguf data offset = 695552
bert_load_from_file: model name           = BERT
bert_load_from_file: model architecture   = bert
bert_load_from_file: model file type      = 1
bert_load_from_file: bert tokenizer vocab = 30522
2023-12-30 14:02:17 - Anonymized telemetry enabled. See                     https://docs.trychroma.com/telemetry for more information.

실행결과는 다음과 같다. spark shell에 대해 질문한 결과이다.

chainlit 로그는 다음과 같다.

참고
https://python.langchain.com/
https://medium.aiplanet.com/implementing-rag-using-langchain-ollama-and-chainlit-on-windows-using-wsl-92d14472f15d
https://github.com/jmorganca/ollama/blob/main/examples/langchain-python-rag-document/main.py

Nexus에 Pypi 저장소 구축

kmaster — Fri, 29 Dec 2023 11:15:49 +0900

PyPi 는 Python의 온라인 저장소이며 pip install 을 실행할 때 라이브러리가 다운로드되는 곳이다.

Nexus 에 Pypi 저장소를 구축하는 방법을 알아보좌. 우선 Nexus 에 Repository -> Create repository 를 선택한다.

3가지 모드가 있다.

Proxy
Nexus를 PyPI 프록시로 설정하여 PyPI 서버로부터 패키지를 캐싱한다. 이 방법은 네트워크 대역폭을 절약하고 빠른 속도로 패키지를 제공할 수 있다.
Group
여러 저장소를 그룹으로 묶어서 하나의 저장소처럼 사용하는 방법이다. 그룹 저장소를 통해 여러 소스로부터 패키지를 가져올 수 있다.
Hosted
Nexus에서 직접 PyPI 저장소를 호스팅하는 방법이다. 이 방법은 독립적인 저장소를 만들어 직접 관리하고 사용할 수 있다.

폐쇄망 환경에서 주로 구축하는 Hosted 모드로 생성해 보자.

우선, Pypi를 통해 공유되는 파일 저장 공간을 설정해야 한다. Blob Store 메뉴로 이동해 보자.

이제 Pypi 저장소를 생성해보자.

이제 저장소에 파일을 등록해 보자. 먼저 whl 파일을 다운로드 받아보자.

# mkdir download
# cd download
# pip download requests
# ls -al
total 592
drwxr-xr-x   2 root root   4096 Dec 28 23:19 .
drwxrwxr-x 173 root root  53248 Dec 28 23:19 ..
-rw-r--r--   1 root root 162530 Dec 28 23:19 certifi-2023.11.17-py3-none-any.whl
-rw-r--r--   1 root root 140273 Dec 28 23:19 charset_normalizer-3.3.2-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
-rw-r--r--   1 root root  61567 Dec 28 23:19 idna-3.6-py3-none-any.whl
-rw-r--r--   1 root root  62574 Dec 28 23:19 requests-2.31.0-py3-none-any.whl
-rw-r--r--   1 root root 104579 Dec 28 23:19 urllib3-2.1.0-py3-none-any.whl

Upload ( Installing )

다음과 같이 whl 파일을 업로드 할 수 있다.

UI가 아닌 좀 더 쉽게 사용하려면 Twine을 설치한다. Twine은 Python 패키지를 PyPI 및 기타 저장소에 게시하기 위한 유틸리티이다.

# pip install twine
# twine upload --repository-url http://nexusip:port/repository/pypi/

upload 시 아래와 같은 경고가 발생하는 경우에는 deployment policy를 확인한다.
 HTTPError: 400 Bad Request from http://10.140.0.111:30200/repository/pypi/
         Repository does not allow updating assets: pypi
Deployment policy를 Allow redeploy 로 설정한다.

rest api로는 다음과 같이 호출한다.

curl -v -u admin:admin -F "pypi.asset0=@requests-2.31.0-py3-none-any.whl" "http://nexus/service/rest/v1/components?repository=pypi"

Download

Nexus에서 패키지를 다운로드 하려면 구성 파일을 pip편집해야 한다.

$HOME/.config/pip/pip.conf

[global]
index = https://nexus/repository/pypi
index-url = https://nexus/repository/pypi/simple
no-cache-dir = false

또는, 직접 nexus 주소를 입력할 수도 있다.

pip install --index-url http://nexus/repository/pypi/simple 패키지명

참고

https://help.sonatype.com/repomanager3/

https://help.sonatype.com/repomanager3/integrations/rest-and-integration-api/components-api

Kubernetes에 Nexus 설치

kmaster — Fri, 29 Dec 2023 08:26:58 +0900

Sonatype Nexus는 소프트웨어 개발에서 사용되는 인기 있는 저장소 관리자 도구이다. 이는 소프트웨어 개발 프로세스에서 사용되는 바이너리 파일, 라이브러리 및 종속성과 같은 artifact를 관리하는 데 사용된다. Nexus는 이러한 artifact를 저장하고 검색하기 위한 중앙 저장소를 제공하여 개발 팀이 종속성을 관리하고 라이브러리를 공유하며 소프트웨어 빌드 프로세스의 일관성을 유지하는 데 도움을 준다.

개발자들은 Java개발 시 maven이나 gradle 컴파일 할 때 내부 Nexus 서버와 연동하여 jar 파일 등을 다운로드하거나 jar 를 deploy하는 형태로 많이 사용할 것이다. 특히 폐쇄망 환경에서는 거의 필수로 사용된다.

하지만, Nexus는 이러한 빌드 도구와의 통합 외에도 다양한 기능을 제공하고 있다. ( 예를들어, Docker Registry의 기능도 포함하고 있다. )

Sonatype Nexus의 주요 기능

아티팩트 관리: Nexus는 바이너리 아티팩트(라이브러리, 프레임워크 등)를 저장하고 관리하기 위한 저장소로 사용
프록시 및 캐싱: Nexus는 외부 저장소의 프록시로 작동하며 아티팩트를 로컬로 캐싱한다. 이는 빌드 시간을 단축하고 외부 저장소 다운타임으로 인한 빌드 프로세스에 영향을 최소화하는 데 도움이 된다.
보안 및 액세스 제어: Nexus는 액세스 제어 및 보안 기능을 제공하여 관리자가 누가 아티팩트에 액세스하고 발행할 수 있는지 정의할 수 있다.
저장소 상태 확인: Nexus는 저장소에 대한 상태 확인을 수행하여 저장된 아티팩트에 문제가 있는지 식별하고 플래그를 지정할 수 있다.
빌드 도구와의 통합: Nexus는 Apache Maven, Gradle 등과 같은 인기 있는 빌드 도구와 원활하게 통합된다. 이 통합을 통해 빌드 도구는 빌드 프로세스 중에 Nexus 저장소에서 종속성을 검색할 수 있다.
여러 저장소 형식 지원: Nexus는 Maven, npm, Docker, NuGet 등과 같은 다양한 저장소 형식을 지원한다. 이 유연성은 Nexus를 다양한 프로젝트 및 생태계에서 사용할 수 있게 한다.
아티팩트 검색 및 탐색: Nexus는 저장소에서 아티팩트를 검색하고 탐색할 수 있는 웹 인터페이스를 제공한다. 이를 통해 프로젝트에서 사용되는 종속성을 쉽게 찾고 이해할 수 있다.

설치

kubernetes에 설치하는 방법은 helm 배포가 있다. 이번에는 단순 yaml로 배포해 보자.

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nexus-data
spec:
  storageClassName: openebs-hostpath
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi
  volumeMode: Filesystem
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nexus
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nexus
  template:
    metadata:
      labels:
        app: nexus
    spec:
      containers:
      - image: sonatype/nexus3:3.63.0
        name: nexus
        ports:
        - containerPort: 8081
          protocol: TCP
        volumeMounts:
        - mountPath: /nexus-data
          name: nexus-data
      volumes:
      - name: nexus-data
        persistentVolumeClaim:
          claimName: nexus-data
---
apiVersion: v1
kind: Service
metadata:
  name: nexus-service
spec:
  ports:
  - name: nexus
    port: 8081
    protocol: TCP
    targetPort: 8081
    nodePort: 30200
  selector:
    app: nexus
  type: NodePort

로그인을 시도할 때 admin 패스워드는 /nexus-data/admin.password 파일에 존재한다.

로그인 후 다음과 같이 경고 메시지가 보인다.

The host system is allocating a maximum of 1 cores to the application. A minimum of 4 is recommended

Deployment.yaml 에 다음의 env를 추가하여 재기동하면 해결된다.

...
    spec:
      containers:
      - image: sonatype/nexus3:3.63.0
        name: nexus
        env:
        - name: INSTALL4J_ADD_VM_PARAMS
          value: "-XX:ActiveProcessorCount=4"
...

kubernetes apiserver 를 통해 Cluster 정보 조회

kmaster — Mon, 25 Dec 2023 23:43:03 +0900

인증 설정방법

0) 접근하는 API 서버 설정

KUBE_SERVER=$(kubectl config view -o jsonpath='{.clusters[0].cluster.server}')

1) x.509 인증 방식으로 apiserver 접근 시 호출방법

curl --cert <path-to-cert-file> --key <path-to-key-file> --cacert <path-to-ca-file> \
$KUBE_SERVER/api/v1/pods

2) token 정보를 활용하여 apiserver 접근 시 호출방법

curl --insecure --header "Authorization: Bearer $KUBE_TOKEN" $KUBE_SERVER/api/v1/pods

API 사용예제

- 모든 pod list 호출방법

curl -k --cert 111.cert --key 111.key --cacert 111.ca \
-X GET https://$KUBE_SERVER/api/v1/pods

- namespace안에 pod list 호출방법

$KUBE_SERVER/api/v1/namespaces/$NAMESPACE/pods

- 모든 deployment list 호출방법

$KUBE_SERVER/api/v1/deployments

- Update

$ curl $KUBE_SERVER/api/v1/namespaces/default/deployments/sleep \
  --cacert 111.ca \
  --cert 111.cert \
  --key 111.key \
  -X PUT \
  -H 'Content-Type: application/yaml' \
  -d '---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: sleep
spec:
  replicas: 1
  selector:
    matchLabels:
      app: sleep
  template:
    metadata:
      labels:
        app: sleep
    spec:
      containers:
      - name: sleep
        image: curlimages/curl
        command: ["/bin/sleep", "730d"] 
'

- Patch

$ curl $KUBE_SERVER/api/v1/namespaces/default/deployments/sleep \
  --cacert 111.ca \
  --cert 111.cert \
  --key 111.key \
  -X PATCH \
  -H 'Content-Type: application/merge-patch+json' \
  -d '{
  "spec": {
    "template": {
      "spec": {
        "containers": [
          {
            "name": "sleep",
            "image": "curlimages/curl",
            "command": ["/bin/sleep", "1d"]
          }
        ]
      }
    }
  }
}'

- DELETE

$ curl $KUBE_SERVER/api/v1/namespaces/default/deployments/sleep \
  --cacert 111.ca \
  --cert 111.cert \
  --key 111.key \
  - X DELETE

- CRD

curl -k -X GET https://<kubernetes-api-server>/apis/<group>/<version>/<resource-plural>

- Raw Mode

kubectl get --raw /api/v1/

- openapi 사양 ( swagger 구문으로 표현 )

kubectl get --raw /openapi/v2  > k8s-openapi-v2.json

- openapi v3 사양

/openapi/v3/<group>/<version>?hash=<HASH>

[example]
kubectl get --raw /openapi/v3/apis/apps/v1  > k8s-openapi-v3.json