Kubernetes 이야기

DVC는 Data Version Control 의 약자로, 머신러닝 프로젝트에서 모델과 데이터의 버전 관리를 위한 오픈 소스다. 데이터의 버전은 크게 데이터 관리와 실험관리로 분리하여 고려할 수 있다. 보통 데이터 관리의 목적으로 많이 사용된다. 데이터 관리 - 코드와 함께 대량의 데이터를 추적하고 버전을 관리하며 DVC를 재현 가능한 데이터 기반 파이프라인을 위한 빌드 시스템으로 사용한다. 실험 관리 - 코드만 계측하여 실험과 진행 상황을 쉽게 추적하고, 소프트웨어 엔지니어가 코드에 대해 수행하는 것처럼 ML 실험에 대해 협업한다. dvc의 워크플로우에는 다음과 같이 것을 사용할 수 있다. 작업 예제 데이터 추적 $ git add train.py params.yaml $ dvc add images/ 코..

기계 학습은 이제 수 많은 기업에서 사용된다. 기계 학습을 통해 나오는 모델은 모델만으로는 큰 가치가 없다. 기계 학습 모델이 개발되는 실험 단계에서 비즈니스에 가치를 제공하기 위해 모델을 제공할 수 있는 생산 단계로 빠르고 안정적으로 이동할 수 있는 것이 매우 중요하다. 이것을 Model Serving이라고 한다. Model Serving 프레임워크를 사용하면 다음을 수행 할 수 있다. API를 통해 모델과 상호 작용한다. 이 때문에 모델과 대화하는 모든 것은 훈련에 사용된 도구나 작성된 언어와 같은 내부 세부 정보를 알지 않고도 사용이 가능하다. 사용자 요구에 맞게 모델을 쉽게 확장한다. 이러한 Model Serving 을 위한 많은 도구들이 있다. 이 중 다음 요소를 고려하는 것이 좋다. 기계 학습..

MLOps 파이프라인은 AI/ML 모델을 만들고 유지 관리하는 프로세스를 자동화하는 일련의 단계이다. 즉, 데이터 과학자는 실험을 구축하는 동안 여러 개의 노트북을 만들고 자연스럽게 다음 단계는 실험에서 생산 준비가 된 코드로 전환하는 것이다. 모델을 생성할 때마다 노트북을 수동으로 실행한다면 시간이 많이 걸리고 오류가 발생하기 쉬우며 확장할 수 없다. Kubeflow에서는 KTP ( Kubeflow Pipelines ), MLFlow, Seldon Core를 사용하여 고급 MLOps 파이프라인을 구축할 수 있다. MLOps 프로세스는 기본적으로 실험과 실현이라는 두 가지 주요 단계로 나누어진다. 실험 중에 데이터 과학자는 많은 아이디어를 생성하고 검증하는 데 집중한다. 반면 두 번째 실현 단계에서는 가..

MLOps 도구로 가장 인기 있는 도구 중 하나인 MLflow와 Kubeflow에 대해 알아보자. 이 2가지 오픈소스는 매우 다른 관점에서 시작되었다. Kubeflow는 오케스트레이션 및 파이프라인에 더 중점을 두고 MLflow는 실험 추적에 더 중점을 둔다. Kubeflow와 MLflow의 중요한 차이점에 대해 알아보자. MLFlow MLflow는 kubeflow와 유사하게 e2e 기계 학습 수명 주기를 관리하기 위한 오픈 소스 플랫폼으로 Spark의 제조사인 Databricks에서 만든 오픈 소스 프로젝트이다. 다음과 같은 기본 구성요소가 있다. 추적: 매개 변수와 결과를 기록하고 비교하는 실험을 추적할 수 있다. 모델: 다양한 모델 서비스 및 유추 플랫폼에 다양한 ML 라이브러리의 모델을 관리하고 ..

기계 학습(ML) 모델은 크게 모델 개발 및 모델 배포라는 두 가지 주기적인 단계로 구분되어 관리된다. 모델 배포는 일반적으로 대화형 Jupyter 노트북에서 수행되지만 매우 실험적인 단계이므로 프로덕션에 모델을 배치하려면 자동화와 확장성이 필요하다. 이 두 단계 사이를 이동하는 것이 ML 프로젝트가 성공/실패를 가른다. 산업 전반에 걸쳐 DevOps 및 DataOps는 품질을 개선하고 소프트웨어 엔지니어링 및 데이터 엔지니어링 이니셔티브의 시장 출시 시간을 단축하기 위한 방법론으로 널리 채택되었다. MLOps는 ML 시스템을 빠르고 안정적으로 구축, 배포 및 운영하기 위한 일련의 표준화된 프로세스 및 기술 기능이다. MLOps에서는 파이프라인을 이용해 서로 소통한다. 머신러닝 엔지니어는 데이터를 내려받..

일반적인 ML Workflow는 다음과 같다. 학습한 모델을 프로덕션에 배포하는 것은 비지니스에서 상당히 중요한 일이다. 일반적으로 학습한 모델을 배포하는 방식은 다음과 같다. 모델을 이용하여 서비스하는 방법은 크게 2가지를 생각해 볼 수 있다. 1) Online Model을 embeded 하여 서버를 운영하거나 모델만 API 서버로 구성한 후 클라이언트와 결과를 주고 받는 온라인 서비스 형태가 있다. 아래 그림은 TensorFlow Serving Container가 모델 API 서버 기능을 하고 Flask 가 클라이언트 역할을 하여 서비스 하는 형태가 될 수 있다. 2) ML 모델을 이용한 Stream ML 모델로 데이터 파이프라인을 보강하는 구성이다. 모델을 저장하는 방식도 여러가지 (Tensorfl..