Kubernetes 이야기

Model Serving에 대해서는 다음의 글을 참고한다. https://kmaster.tistory.com/158 https://kmaster.tistory.com/166 mlflow에서도 Serving 기능을 제공한다. 이에 대해 알아보자. https://mlflow.org/docs/latest/tutorials-and-examples/tutorial.html 예제 소스를 사용하여 Serving을 수행해 보자. # mlflow models serve -m ./mlruns/0//artifacts/model -p 여기서 port는 모델 api를 수신받을 수 있는 임의의 port를 지정하면 된다. # mlflow models serve -m ./mlartifacts/0/9927ff56416742b48544..

MLflow는 End to End 기계 학습 수명주기를 관리하기 위한 오픈 소스 플랫폼으로 다음과 같은 구성 요소를 제공한다. 구성요소 MLflow Tracking : mlflow에서 가장 많이 사용하는 기능으로 실험을 기록하고 쿼리할 수 있다. 또한 각 실험의 코드, 데이터, 구성 및 결과를 추적한다. MLflow Project : 코드를 플랫폼에 구애받지 않는 형식으로 패키징하여 실험을 재현할 수 있다. MLflow Model : 다양한 ML 라이브러리에서 다양한 모델 제공 및 추론 플랫폼까지 모델을 관리하고 배포할 수 있다. MLflow Model Registry : 모델 버전 관리, 단계 전환 및 주석을 포함하여 MLflow 모델의 전체 수명 주기를 공동으로 관리하기 위한 중앙 모델 저장소를 제공..

DVC는 Data Version Control 의 약자로, 머신러닝 프로젝트에서 모델과 데이터의 버전 관리를 위한 오픈 소스다. 데이터의 버전은 크게 데이터 관리와 실험관리로 분리하여 고려할 수 있다. 보통 데이터 관리의 목적으로 많이 사용된다. 데이터 관리 - 코드와 함께 대량의 데이터를 추적하고 버전을 관리하며 DVC를 재현 가능한 데이터 기반 파이프라인을 위한 빌드 시스템으로 사용한다. 실험 관리 - 코드만 계측하여 실험과 진행 상황을 쉽게 추적하고, 소프트웨어 엔지니어가 코드에 대해 수행하는 것처럼 ML 실험에 대해 협업한다. dvc의 워크플로우에는 다음과 같이 것을 사용할 수 있다. 작업 예제 데이터 추적 $ git add train.py params.yaml $ dvc add images/ 코..

기계 학습은 이제 수 많은 기업에서 사용된다. 기계 학습을 통해 나오는 모델은 모델만으로는 큰 가치가 없다. 기계 학습 모델이 개발되는 실험 단계에서 비즈니스에 가치를 제공하기 위해 모델을 제공할 수 있는 생산 단계로 빠르고 안정적으로 이동할 수 있는 것이 매우 중요하다. 이것을 Model Serving이라고 한다. Model Serving 프레임워크를 사용하면 다음을 수행 할 수 있다. API를 통해 모델과 상호 작용한다. 이 때문에 모델과 대화하는 모든 것은 훈련에 사용된 도구나 작성된 언어와 같은 내부 세부 정보를 알지 않고도 사용이 가능하다. 사용자 요구에 맞게 모델을 쉽게 확장한다. 이러한 Model Serving 을 위한 많은 도구들이 있다. 이 중 다음 요소를 고려하는 것이 좋다. 기계 학습..

얼마전 ChatGPT 4가 3월 14일 발표되었다. GPT란 ‘Generative Pre-trained Transformer’의 약자로 OpenAI가 개발한 인공지능 모델이다. GPT는 자연어 처리를 위한 인공지능 모델로, 방대한 데이터를 머신러닝으로 미리 학습(Pre-trained)해 이를 문장으로 생성(Generative)하는 기능을 한다. GPT4가 이전 GPT3.5 보다 크게 달라진 점은 Multimodal을 도입했다는 것이다. multimodal이란 여러가지 형태의 정보를 통해 소통하는 환경을 말한다. 여러가지 형태의 정보란 영상, 이미지, 소리, 댓글 등 다양한 정보를 의미한다. GPT4는 이미지를 인식하여 해당 이미지에 대한 정보를 텍스트로 생성할 수 있다. ChatGPT API 를 사용하는..

MLOps 파이프라인은 AI/ML 모델을 만들고 유지 관리하는 프로세스를 자동화하는 일련의 단계이다. 즉, 데이터 과학자는 실험을 구축하는 동안 여러 개의 노트북을 만들고 자연스럽게 다음 단계는 실험에서 생산 준비가 된 코드로 전환하는 것이다. 모델을 생성할 때마다 노트북을 수동으로 실행한다면 시간이 많이 걸리고 오류가 발생하기 쉬우며 확장할 수 없다. Kubeflow에서는 KTP ( Kubeflow Pipelines ), MLFlow, Seldon Core를 사용하여 고급 MLOps 파이프라인을 구축할 수 있다. MLOps 프로세스는 기본적으로 실험과 실현이라는 두 가지 주요 단계로 나누어진다. 실험 중에 데이터 과학자는 많은 아이디어를 생성하고 검증하는 데 집중한다. 반면 두 번째 실현 단계에서는 가..