Kubernetes 이야기

Model Serving에 대해서는 다음의 글을 참고한다. https://kmaster.tistory.com/158 https://kmaster.tistory.com/166 mlflow에서도 Serving 기능을 제공한다. 이에 대해 알아보자. https://mlflow.org/docs/latest/tutorials-and-examples/tutorial.html 예제 소스를 사용하여 Serving을 수행해 보자. # mlflow models serve -m ./mlruns/0//artifacts/model -p 여기서 port는 모델 api를 수신받을 수 있는 임의의 port를 지정하면 된다. # mlflow models serve -m ./mlartifacts/0/9927ff56416742b48544..

일반적인 ML Workflow는 다음과 같다. 학습한 모델을 프로덕션에 배포하는 것은 비지니스에서 상당히 중요한 일이다. 일반적으로 학습한 모델을 배포하는 방식은 다음과 같다. 모델을 이용하여 서비스하는 방법은 크게 2가지를 생각해 볼 수 있다. 1) Online Model을 embeded 하여 서버를 운영하거나 모델만 API 서버로 구성한 후 클라이언트와 결과를 주고 받는 온라인 서비스 형태가 있다. 아래 그림은 TensorFlow Serving Container가 모델 API 서버 기능을 하고 Flask 가 클라이언트 역할을 하여 서비스 하는 형태가 될 수 있다. 2) ML 모델을 이용한 Stream ML 모델로 데이터 파이프라인을 보강하는 구성이다. 모델을 저장하는 방식도 여러가지 (Tensorfl..