| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- opensearch
- kubernetes operator
- operator
- Argo
- gitea
- Continuous Deployment
- serving
- Pulumi
- CI/CD
- MLflow
- 오퍼레이터
- keda
- knative
- nginx ingress
- mlops
- Model Serving
- blue/green
- argo rollout
- 카오스 엔지니어링
- opentelemetry
- Kopf
- Kubeflow
- Kubernetes
- Kubernetes 인증
- tekton
- argocd
- seldon core
- CANARY
- gitops
- Litmus
- Today
- Total
목록2024/05 (3)
Kubernetes 이야기
nvidia k8s device driver 및 dcgm 설치
Kubernetes에서 nvidia gpu 를 사용하고, prometheus로 gpu 모니터링을 위한 절차를 알아보자. 설치 전 nvidia driver는 노드에 설치되어 있어야 한다. 설치 1. container-toolkit 설치curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | \ sudo tee /etc/yum.repos.d/nvidia-container-toolkit.reposudo yum-config-manager --enable nvidia-container-toolkit-experimentalsudo yum install -y nvidia-container-too..
OpenSearch 및 Fluent Bit로 Kubernetes Event 및 Container 로그 저장하기
OpenSearchOpenSearch는 Amazon에서 만든 OpenSearch 프로젝트는 이전 버전의 Elasticsearch와 Kibana를 기반으로 하는 포크(fork)된 검색 프로젝트 로 Apache 2.0 라이선스 하에 제공되는 분산형 커뮤니티 기반 100% 오픈 소스 검색 및 분석 제품군군이다. 실시간 애플리케이션 모니터링, 로그 분석 및 웹 사이트 검색과 같이 다양한 사용 사례에 사용된다. OpenSearch는 데이터 탐색을 쉽게 해주는 통합 시각화 도구 OpenSearch 대시보드와 함께 대량 데이터 볼륨에 빠르게 액세스하고 응답하며 뛰어난 확장성을 지닌 시스템을 제공한다. OpenSearch는 Apache Lucene 검색 라이브러리로 구동되며 k-nearest neighbors(KNN)..
온라인 서빙과 배치 서빙
기계 학습 모델을 제공한다는 것은 사용자에게 실시간 예측을 제공하거나 오프라인 사용을 위한 일괄 예측을 제공하기 위해 예측 또는 추론에 사용할 수 있도록 하는 것을 의미한다. 모델 서빙과 관련된 다양한 오픈소스가 있으니, 간단한 모델의 경우 Framework보다 Flask나 Fastapi로 구현하는 경우가 실제 많다. MLFlow에 저장된 모델을 사용하여 온라인 서빙 또는 배치 서빙 하는 방법을 알아보자.온라인 서빙 (Online Serving)온라인 서빙은 실시간 또는 거의 실시간 응답을 제공해야 하는 경우에 적합하다. API를 통해 요청이 들어오면 바로 결과를 반환하게 된다. 구현 방법:FastAPI 또는 Flask 사용: REST API 서버를 구축하는 데 FastAPI 또는 Flask 같은 웹 프..