Kubernetes 이야기

23년도 10월에 Kubernetes Gateway API v1.0이 GA release되었다. Kubernetes Gateway API 가 무엇인지 알아보자. Gateway API란 무엇인가? Gateway API는 SIG-NETWORK 커뮤니티 에서 관리하는 오픈 소스 프로젝트로 Kubernetes에서 서비스 네트워킹을 모델링하는 API(리소스 모음)이다. 기존에 Kubernetes에서는 Ingress라는 인바운드 트래픽 제어 기능이 있다. 우선 어떤 차이가 있는지 살펴보자. Ingress Ingress는 외부 트래픽을 클러스터 내부 서비스로 전달하는 방법을 정의하여 HTTP 및 HTTPS 트래픽의 진입점 역할을 한다. Gateway API Ingress에서 지원이 어려운 가중치 트래픽 라우팅, 역할..

SvelteKit은 Svelte를 사용하여 강력하고 성능이 뛰어난 웹 애플리케이션을 빠르게 개발하기 위한 프레임워크이다. Vue와 비교하면 SvelteKit은 Nuxt와 유사한 프레임워크이다. Svelte는 UI 구성 요소를 렌더링합니다. Svelte만으로 이러한 구성 요소를 구성하고 전체 페이지를 렌더링할 수 있지만 전체 앱을 작성하려면 Svelte 이상의 것이 필요하다. SvelteKit은 링크를 클릭할 때 UI를 업데이트하는 라우터 및 서버 측 렌더링(SSR) 과 같은 기본 기능을 제공하고, HMR(핫 모듈 교체)을 수행하기 위해 Svelte 플러그인과 함께 Vite 를 활용함으로써 매우 빠르고 기능이 풍부한 개발 경험을 제공하기 위해 브라우저의 코드 변경 사항을 즉시 반영한다. 프로젝트 만들기 n..

Model Serving에 대해서는 다음의 글을 참고한다. https://kmaster.tistory.com/158 https://kmaster.tistory.com/166 mlflow에서도 Serving 기능을 제공한다. 이에 대해 알아보자. https://mlflow.org/docs/latest/tutorials-and-examples/tutorial.html 예제 소스를 사용하여 Serving을 수행해 보자. # mlflow models serve -m ./mlruns/0//artifacts/model -p 여기서 port는 모델 api를 수신받을 수 있는 임의의 port를 지정하면 된다. # mlflow models serve -m ./mlartifacts/0/9927ff56416742b48544..

MLflow는 End to End 기계 학습 수명주기를 관리하기 위한 오픈 소스 플랫폼으로 다음과 같은 구성 요소를 제공한다. 구성요소 MLflow Tracking : mlflow에서 가장 많이 사용하는 기능으로 실험을 기록하고 쿼리할 수 있다. 또한 각 실험의 코드, 데이터, 구성 및 결과를 추적한다. MLflow Project : 코드를 플랫폼에 구애받지 않는 형식으로 패키징하여 실험을 재현할 수 있다. MLflow Model : 다양한 ML 라이브러리에서 다양한 모델 제공 및 추론 플랫폼까지 모델을 관리하고 배포할 수 있다. MLflow Model Registry : 모델 버전 관리, 단계 전환 및 주석을 포함하여 MLflow 모델의 전체 수명 주기를 공동으로 관리하기 위한 중앙 모델 저장소를 제공..

DVC는 Data Version Control 의 약자로, 머신러닝 프로젝트에서 모델과 데이터의 버전 관리를 위한 오픈 소스다. 데이터의 버전은 크게 데이터 관리와 실험관리로 분리하여 고려할 수 있다. 보통 데이터 관리의 목적으로 많이 사용된다. 데이터 관리 - 코드와 함께 대량의 데이터를 추적하고 버전을 관리하며 DVC를 재현 가능한 데이터 기반 파이프라인을 위한 빌드 시스템으로 사용한다. 실험 관리 - 코드만 계측하여 실험과 진행 상황을 쉽게 추적하고, 소프트웨어 엔지니어가 코드에 대해 수행하는 것처럼 ML 실험에 대해 협업한다. dvc의 워크플로우에는 다음과 같이 것을 사용할 수 있다. 작업 예제 데이터 추적 $ git add train.py params.yaml $ dvc add images/ 코..

기계 학습은 이제 수 많은 기업에서 사용된다. 기계 학습을 통해 나오는 모델은 모델만으로는 큰 가치가 없다. 기계 학습 모델이 개발되는 실험 단계에서 비즈니스에 가치를 제공하기 위해 모델을 제공할 수 있는 생산 단계로 빠르고 안정적으로 이동할 수 있는 것이 매우 중요하다. 이것을 Model Serving이라고 한다. Model Serving 프레임워크를 사용하면 다음을 수행 할 수 있다. API를 통해 모델과 상호 작용한다. 이 때문에 모델과 대화하는 모든 것은 훈련에 사용된 도구나 작성된 언어와 같은 내부 세부 정보를 알지 않고도 사용이 가능하다. 사용자 요구에 맞게 모델을 쉽게 확장한다. 이러한 Model Serving 을 위한 많은 도구들이 있다. 이 중 다음 요소를 고려하는 것이 좋다. 기계 학습..