Kubernetes 이야기

buildkit으로 이미지 빌드 후 K8S에 배포하는 방법에 대해 알아보자. 핵심은 BuildKit 데몬을 클러스터 내에 띄우고, buildctl 클라이언트로 빌드를 트리거한 뒤, 빌드된 이미지를 private registry에 push하고, 그 이미지를 참조하는 Pod를 배포하는 흐름이다. 1. BuildKit 데몬 배포 (rootless, StatefulSet)apiVersion: v1kind: ServiceAccountmetadata: name: buildkit namespace: build-system---apiVersion: apps/v1kind: StatefulSetmetadata: name: buildkitd namespace: build-systemspec: serviceName:..

최근 AI 워크로드가 kubernetes위에 배포되어 운영되는 사례가 증가하고 있다. kubernetes에서 nvidia gpu를 여러 instance 로 사용하기 위해서는 대표적으로 mig, time slicing, multi-process server (mps) 방식이 있다. 이 외에 가상화를 이용한 vGPU ( vGPU 라이선스 필요 ) 기술도 있다. 이 중 gpu 공유기술의 대표적인 mig, time slicing, multi-process server (mps) 를 알아보자. 아래 그림은 time slicing, mps, mig 를 이해하기 쉽게 표현한 그림이다.출처 : https://www.flaticon.com/kr/free-icon/gpu_1089003?related_id=1088744&..

Kubernetes에서 nvidia gpu 를 사용하고, prometheus로 gpu 모니터링을 위한 절차를 알아보자. 설치 전 nvidia driver는 노드에 설치되어 있어야 한다. 설치  1. container-toolkit 설치curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | \ sudo tee /etc/yum.repos.d/nvidia-container-toolkit.reposudo yum-config-manager --enable nvidia-container-toolkit-experimentalsudo yum install -y nvidia-container-too..

OpenSearchOpenSearch는 Amazon에서 만든 OpenSearch 프로젝트는 이전 버전의 Elasticsearch와 Kibana를 기반으로 하는 포크(fork)된 검색 프로젝트 로 Apache 2.0 라이선스 하에 제공되는 분산형 커뮤니티 기반 100% 오픈 소스 검색 및 분석 제품군군이다. 실시간 애플리케이션 모니터링, 로그 분석 및 웹 사이트 검색과 같이 다양한 사용 사례에 사용된다. OpenSearch는 데이터 탐색을 쉽게 해주는 통합 시각화 도구 OpenSearch 대시보드와 함께 대량 데이터 볼륨에 빠르게 액세스하고 응답하며 뛰어난 확장성을 지닌 시스템을 제공한다. OpenSearch는 Apache Lucene 검색 라이브러리로 구동되며 k-nearest neighbors(KNN)..

기계 학습 모델을 제공한다는 것은 사용자에게 실시간 예측을 제공하거나 오프라인 사용을 위한 일괄 예측을 제공하기 위해 예측 또는 추론에 사용할 수 있도록 하는 것을 의미한다. 모델 서빙과 관련된 다양한 오픈소스가 있으니, 간단한 모델의 경우 Framework보다 Flask나 Fastapi로 구현하는 경우가 실제 많다. MLFlow에 저장된 모델을 사용하여 온라인 서빙 또는 배치 서빙 하는 방법을 알아보자.온라인 서빙 (Online Serving)온라인 서빙은 실시간 또는 거의 실시간 응답을 제공해야 하는 경우에 적합하다. API를 통해 요청이 들어오면 바로 결과를 반환하게 된다. 구현 방법:FastAPI 또는 Flask 사용: REST API 서버를 구축하는 데 FastAPI 또는 Flask 같은 웹 프..

Kubernetes Python 클라이언트 라이브러리는 보통 다음을 참고하여 개발한다. https://github.com/kubernetes-client Kubernetes Clients This organization hosts Kubernetes API client libraries. - Kubernetes Clients github.com kubernetes-client 는 asynio를 지원하지 않기 때문에 이런 경우에는 kubernetes-asyncio를 사용하기도 한다. https://github.com/tomplus/kubernetes_asyncio GitHub - tomplus/kubernetes_asyncio: Python asynchronous client library for Kube..