Kubernetes 이야기

Apache Kafka는 방대한 양의 데이터를 처리, 저장 및 실시간 분석할 수 있는 분산 스트리밍 플랫폼이다. 기계학습 (ML)에서도 Apache Kafka와 연동한 예측 서비스로 많이 활용되는 플랫폼이다. Kafka의 일반적인 사용 예 이벤트 소싱: 애플리케이션 상태에 대한 변경 사항을 일련의 이벤트로 캡처 스트림 처리: 실시간 분석 및 모니터링 데이터 레이크: 다양한 데이터 소스를 통합된 중앙 저장소에 통합 Apache Spark 및 Hadoop과 같은 빅 데이터 도구와의 통합 Kafka가 ML에 사용되는 주요 예 실시간 데이터 파이프라인 : Kafka는 다양한 소스의 대량 실시간 데이터를 데이터 과학 및 기계 학습 모델로 스트리밍하는 방법을 제공한다. 이를 통해 지속적인 예측을 수행하고 실시간 데..

DVC는 Data Version Control 의 약자로, 머신러닝 프로젝트에서 모델과 데이터의 버전 관리를 위한 오픈 소스다. 데이터의 버전은 크게 데이터 관리와 실험관리로 분리하여 고려할 수 있다. 보통 데이터 관리의 목적으로 많이 사용된다. 데이터 관리 - 코드와 함께 대량의 데이터를 추적하고 버전을 관리하며 DVC를 재현 가능한 데이터 기반 파이프라인을 위한 빌드 시스템으로 사용한다. 실험 관리 - 코드만 계측하여 실험과 진행 상황을 쉽게 추적하고, 소프트웨어 엔지니어가 코드에 대해 수행하는 것처럼 ML 실험에 대해 협업한다. dvc의 워크플로우에는 다음과 같이 것을 사용할 수 있다. 작업 예제 데이터 추적 $ git add train.py params.yaml $ dvc add images/ 코..

기계 학습(ML) 모델은 크게 모델 개발 및 모델 배포라는 두 가지 주기적인 단계로 구분되어 관리된다. 모델 배포는 일반적으로 대화형 Jupyter 노트북에서 수행되지만 매우 실험적인 단계이므로 프로덕션에 모델을 배치하려면 자동화와 확장성이 필요하다. 이 두 단계 사이를 이동하는 것이 ML 프로젝트가 성공/실패를 가른다. 산업 전반에 걸쳐 DevOps 및 DataOps는 품질을 개선하고 소프트웨어 엔지니어링 및 데이터 엔지니어링 이니셔티브의 시장 출시 시간을 단축하기 위한 방법론으로 널리 채택되었다. MLOps는 ML 시스템을 빠르고 안정적으로 구축, 배포 및 운영하기 위한 일련의 표준화된 프로세스 및 기술 기능이다. MLOps에서는 파이프라인을 이용해 서로 소통한다. 머신러닝 엔지니어는 데이터를 내려받..

Kubeflow는 Kubernetes에서 기계 학습(ML) 워크플로에 필요한 학습부터 배포까지 모든 단계를 관리하는것을 목표로 한 플랫폼이다. 기계 학습 시스템을 개발하는 방법의 주요 구성 요소는 다음에 설명되어 있다. ML 팀은 Kubeflow를 사용하여 선택한 ML 라이브러리(예: Tensorflow, PyTorch)로 ML 모델을 공동으로 구축하고 ML 파이프라인을 생성하여 데이터 변환, 모델 교육 및 프로덕션을 위한 모델 제공을 처리할 수 있다. Kubeflow는 Kubernetes 클러스터에서만 실행할 수 있으므로 Kubernetes 생태계에서 많은 기능을 활용하고 많은 기능을 컨테이너화 한다. 주요 Kubeflow 구성 요소에 대한 개요는 다음과 같다. Kubeflow 노트북 : 사용자는 노트..