일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- opensearch
- Model Serving
- 카오스 엔지니어링
- Kubernetes
- CANARY
- knative
- MLflow
- Continuous Deployment
- argo rollout
- blue/green
- 오퍼레이터
- Kubeflow
- kubernetes operator
- seldon core
- Kopf
- mlops
- keda
- Argo
- gitea
- Litmus
- tekton
- Pulumi
- Kubernetes 인증
- gitops
- argocd
- opentelemetry
- nginx ingress
- serving
- CI/CD
- operator
- Today
- Total
목록전체 글 (170)
Kubernetes 이야기
MLOps 도구로 가장 인기 있는 도구 중 하나인 MLflow와 Kubeflow에 대해 알아보자. 이 2가지 오픈소스는 매우 다른 관점에서 시작되었다. Kubeflow는 오케스트레이션 및 파이프라인에 더 중점을 두고 MLflow는 실험 추적에 더 중점을 둔다. Kubeflow와 MLflow의 중요한 차이점에 대해 알아보자. MLFlow MLflow는 kubeflow와 유사하게 e2e 기계 학습 수명 주기를 관리하기 위한 오픈 소스 플랫폼으로 Spark의 제조사인 Databricks에서 만든 오픈 소스 프로젝트이다. 다음과 같은 기본 구성요소가 있다. 추적: 매개 변수와 결과를 기록하고 비교하는 실험을 추적할 수 있다. 모델: 다양한 모델 서비스 및 유추 플랫폼에 다양한 ML 라이브러리의 모델을 관리하고 ..
기계 학습(ML) 모델은 크게 모델 개발 및 모델 배포라는 두 가지 주기적인 단계로 구분되어 관리된다. 모델 배포는 일반적으로 대화형 Jupyter 노트북에서 수행되지만 매우 실험적인 단계이므로 프로덕션에 모델을 배치하려면 자동화와 확장성이 필요하다. 이 두 단계 사이를 이동하는 것이 ML 프로젝트가 성공/실패를 가른다. 산업 전반에 걸쳐 DevOps 및 DataOps는 품질을 개선하고 소프트웨어 엔지니어링 및 데이터 엔지니어링 이니셔티브의 시장 출시 시간을 단축하기 위한 방법론으로 널리 채택되었다. MLOps는 ML 시스템을 빠르고 안정적으로 구축, 배포 및 운영하기 위한 일련의 표준화된 프로세스 및 기술 기능이다. MLOps에서는 파이프라인을 이용해 서로 소통한다. 머신러닝 엔지니어는 데이터를 내려받..
일반적인 ML Workflow는 다음과 같다. 학습한 모델을 프로덕션에 배포하는 것은 비지니스에서 상당히 중요한 일이다. 일반적으로 학습한 모델을 배포하는 방식은 다음과 같다. 모델을 이용하여 서비스하는 방법은 크게 2가지를 생각해 볼 수 있다. 1) Online Model을 embeded 하여 서버를 운영하거나 모델만 API 서버로 구성한 후 클라이언트와 결과를 주고 받는 온라인 서비스 형태가 있다. 아래 그림은 TensorFlow Serving Container가 모델 API 서버 기능을 하고 Flask 가 클라이언트 역할을 하여 서비스 하는 형태가 될 수 있다. 2) ML 모델을 이용한 Stream ML 모델로 데이터 파이프라인을 보강하는 구성이다. 모델을 저장하는 방식도 여러가지 (Tensorfl..
Kubeflow 대시보드에서 Nodebooks 을 선택해보자. Notebooks 탭은 유저별로 jupyter notebook을 독립적으로 생성하고 접속할 수 있는 페이지이다. JupyterLab 또는 VSCode, RStudio 중 원하는 개발방법을 선택한다. 생성 시 아래의 에러 로그가 보이는 경우가 있다. Could not find CSRF cookie XSRF-TOKEN in the request. 원인은, https 가 아닌 http 를 통해 Kubeflow UI에 액세스하므로 Jupyter Web App 서비스에서 환경 변수를 APP_SECURE_COOKIES로 설정해야 한다. 이를 해결하려면, # k edit deployments.apps -n kubeflow jupyter-web-app-de..
Kubeflow는 Kubernetes에서 기계 학습(ML) 워크플로에 필요한 학습부터 배포까지 모든 단계를 관리하는것을 목표로 한 플랫폼이다. 기계 학습 시스템을 개발하는 방법의 주요 구성 요소는 다음에 설명되어 있다. ML 팀은 Kubeflow를 사용하여 선택한 ML 라이브러리(예: Tensorflow, PyTorch)로 ML 모델을 공동으로 구축하고 ML 파이프라인을 생성하여 데이터 변환, 모델 교육 및 프로덕션을 위한 모델 제공을 처리할 수 있다. Kubeflow는 Kubernetes 클러스터에서만 실행할 수 있으므로 Kubernetes 생태계에서 많은 기능을 활용하고 많은 기능을 컨테이너화 한다. 주요 Kubeflow 구성 요소에 대한 개요는 다음과 같다. Kubeflow 노트북 : 사용자는 노트..
mitmproxy는 HTTP/1, HTTP/2 및 WebSocket에 대한 무료 오픈 소스 대화형 HTTPS 프록시이다. 주요특징 HTTP 및 HTTPS 요청과 응답을 가로채서 즉석에서 수정 나중에 재생 및 분석을 위해 전체 HTTP 대화 저장 HTTP 대화의 클라이언트 측 재생 이전에 녹화된 서버의 HTTP 응답 재생 지정된 서버로 트래픽을 전달하는 리버스 프록시 모드 macOS 및 Linux의 투명 프록시 모드 Python을 사용하여 HTTP 트래픽에 대한 스크립팅된 변경 수행 가로채기를 위한 SSL/TLS 인증서가 즉시 생성 설치 # pipenv install mitmproxy Installing mitmproxy... Pipfile.lock not found, creating... Locking ..