목록Mdel Serving (1)

Kubernetes 이야기

Model Serving

일반적인 ML Workflow는 다음과 같다. 학습한 모델을 프로덕션에 배포하는 것은 비지니스에서 상당히 중요한 일이다. 일반적으로 학습한 모델을 배포하는 방식은 다음과 같다. 모델을 이용하여 서비스하는 방법은 크게 2가지를 생각해 볼 수 있다. 1) Online Model을 embeded 하여 서버를 운영하거나 모델만 API 서버로 구성한 후 클라이언트와 결과를 주고 받는 온라인 서비스 형태가 있다. 아래 그림은 TensorFlow Serving Container가 모델 API 서버 기능을 하고 Flask 가 클라이언트 역할을 하여 서비스 하는 형태가 될 수 있다. 2) ML 모델을 이용한 Stream ML 모델로 데이터 파이프라인을 보강하는 구성이다. 모델을 저장하는 방식도 여러가지 (Tensorfl..
Kubernetes/MLOps 2023. 2. 24. 16:56
이전 Prev 1 Next 다음