Kubernetes 이야기

기계 학습은 이제 수 많은 기업에서 사용된다. 기계 학습을 통해 나오는 모델은 모델만으로는 큰 가치가 없다. 기계 학습 모델이 개발되는 실험 단계에서 비즈니스에 가치를 제공하기 위해 모델을 제공할 수 있는 생산 단계로 빠르고 안정적으로 이동할 수 있는 것이 매우 중요하다. 이것을 Model Serving이라고 한다. Model Serving 프레임워크를 사용하면 다음을 수행 할 수 있다. API를 통해 모델과 상호 작용한다. 이 때문에 모델과 대화하는 모든 것은 훈련에 사용된 도구나 작성된 언어와 같은 내부 세부 정보를 알지 않고도 사용이 가능하다. 사용자 요구에 맞게 모델을 쉽게 확장한다. 이러한 Model Serving 을 위한 많은 도구들이 있다. 이 중 다음 요소를 고려하는 것이 좋다. 기계 학습..

일반적인 ML Workflow는 다음과 같다. 학습한 모델을 프로덕션에 배포하는 것은 비지니스에서 상당히 중요한 일이다. 일반적으로 학습한 모델을 배포하는 방식은 다음과 같다. 모델을 이용하여 서비스하는 방법은 크게 2가지를 생각해 볼 수 있다. 1) Online Model을 embeded 하여 서버를 운영하거나 모델만 API 서버로 구성한 후 클라이언트와 결과를 주고 받는 온라인 서비스 형태가 있다. 아래 그림은 TensorFlow Serving Container가 모델 API 서버 기능을 하고 Flask 가 클라이언트 역할을 하여 서비스 하는 형태가 될 수 있다. 2) ML 모델을 이용한 Stream ML 모델로 데이터 파이프라인을 보강하는 구성이다. 모델을 저장하는 방식도 여러가지 (Tensorfl..