Kubernetes 이야기

MLOps 도구로 가장 인기 있는 도구 중 하나인 MLflow와 Kubeflow에 대해 알아보자. 이 2가지 오픈소스는 매우 다른 관점에서 시작되었다. Kubeflow는 오케스트레이션 및 파이프라인에 더 중점을 두고 MLflow는 실험 추적에 더 중점을 둔다. Kubeflow와 MLflow의 중요한 차이점에 대해 알아보자. MLFlow MLflow는 kubeflow와 유사하게 e2e 기계 학습 수명 주기를 관리하기 위한 오픈 소스 플랫폼으로 Spark의 제조사인 Databricks에서 만든 오픈 소스 프로젝트이다. 다음과 같은 기본 구성요소가 있다. 추적: 매개 변수와 결과를 기록하고 비교하는 실험을 추적할 수 있다. 모델: 다양한 모델 서비스 및 유추 플랫폼에 다양한 ML 라이브러리의 모델을 관리하고 ..

Kubeflow 대시보드에서 Nodebooks 을 선택해보자. Notebooks 탭은 유저별로 jupyter notebook을 독립적으로 생성하고 접속할 수 있는 페이지이다. JupyterLab 또는 VSCode, RStudio 중 원하는 개발방법을 선택한다. 생성 시 아래의 에러 로그가 보이는 경우가 있다. Could not find CSRF cookie XSRF-TOKEN in the request. 원인은, https 가 아닌 http 를 통해 Kubeflow UI에 액세스하므로 Jupyter Web App 서비스에서 환경 변수를 APP_SECURE_COOKIES로 설정해야 한다. 이를 해결하려면, # k edit deployments.apps -n kubeflow jupyter-web-app-de..

Kubeflow는 Kubernetes에서 기계 학습(ML) 워크플로에 필요한 학습부터 배포까지 모든 단계를 관리하는것을 목표로 한 플랫폼이다. 기계 학습 시스템을 개발하는 방법의 주요 구성 요소는 다음에 설명되어 있다. ML 팀은 Kubeflow를 사용하여 선택한 ML 라이브러리(예: Tensorflow, PyTorch)로 ML 모델을 공동으로 구축하고 ML 파이프라인을 생성하여 데이터 변환, 모델 교육 및 프로덕션을 위한 모델 제공을 처리할 수 있다. Kubeflow는 Kubernetes 클러스터에서만 실행할 수 있으므로 Kubernetes 생태계에서 많은 기능을 활용하고 많은 기능을 컨테이너화 한다. 주요 Kubeflow 구성 요소에 대한 개요는 다음과 같다. Kubeflow 노트북 : 사용자는 노트..