목록전체 글 (170)

Kubernetes 이야기

nvidia k8s device driver 및 dcgm 설치

Kubernetes에서 nvidia gpu 를 사용하고, prometheus로 gpu 모니터링을 위한 절차를 알아보자. 설치 전 nvidia driver는 노드에 설치되어 있어야 한다. 설치  1. container-toolkit 설치curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | \ sudo tee /etc/yum.repos.d/nvidia-container-toolkit.reposudo yum-config-manager --enable nvidia-container-toolkit-experimentalsudo yum install -y nvidia-container-too..
Kubernetes/일반 2024. 5. 11. 23:02
OpenSearch 및 Fluent Bit로 Kubernetes Event 및 Container 로그 저장하기

OpenSearchOpenSearch는 Amazon에서 만든 OpenSearch 프로젝트는 이전 버전의 Elasticsearch와 Kibana를 기반으로 하는 포크(fork)된 검색 프로젝트 로 Apache 2.0 라이선스 하에 제공되는 분산형 커뮤니티 기반 100% 오픈 소스 검색 및 분석 제품군군이다. 실시간 애플리케이션 모니터링, 로그 분석 및 웹 사이트 검색과 같이 다양한 사용 사례에 사용된다. OpenSearch는 데이터 탐색을 쉽게 해주는 통합 시각화 도구 OpenSearch 대시보드와 함께 대량 데이터 볼륨에 빠르게 액세스하고 응답하며 뛰어난 확장성을 지닌 시스템을 제공한다. OpenSearch는 Apache Lucene 검색 라이브러리로 구동되며 k-nearest neighbors(KNN)..
Kubernetes/일반 2024. 5. 6. 22:54
온라인 서빙과 배치 서빙

기계 학습 모델을 제공한다는 것은 사용자에게 실시간 예측을 제공하거나 오프라인 사용을 위한 일괄 예측을 제공하기 위해 예측 또는 추론에 사용할 수 있도록 하는 것을 의미한다. 모델 서빙과 관련된 다양한 오픈소스가 있으니, 간단한 모델의 경우 Framework보다 Flask나 Fastapi로 구현하는 경우가 실제 많다. MLFlow에 저장된 모델을 사용하여 온라인 서빙 또는 배치 서빙 하는 방법을 알아보자.온라인 서빙 (Online Serving)온라인 서빙은 실시간 또는 거의 실시간 응답을 제공해야 하는 경우에 적합하다. API를 통해 요청이 들어오면 바로 결과를 반환하게 된다. 구현 방법:FastAPI 또는 Flask 사용: REST API 서버를 구축하는 데 FastAPI 또는 Flask 같은 웹 프..
Kubernetes/MLOps 2024. 5. 6. 22:53
kr8s - Kubernetes용 Python 클라이언트 라이브러리

Kubernetes Python 클라이언트 라이브러리는 보통 다음을 참고하여 개발한다. https://github.com/kubernetes-client Kubernetes Clients This organization hosts Kubernetes API client libraries. - Kubernetes Clients github.com kubernetes-client 는 asynio를 지원하지 않기 때문에 이런 경우에는 kubernetes-asyncio를 사용하기도 한다. https://github.com/tomplus/kubernetes_asyncio GitHub - tomplus/kubernetes_asyncio: Python asynchronous client library for Kube..
Kubernetes/일반 2023. 12. 31. 22:54
Ollama and Chainlit으로 Langchain과 RAG 구현하기

최근 유행하고 있는 벡터 저장소와 같은 외부 데이터 아카이브를 사용하여 LLM의 응답 품질을 향상시킬 수 있는 기술인 LangChain 및 RAG를 사용하는 방법을 알아보자. 우선 LangChain 에 대해 알아보자. LangChain LangChain은 언어 모델을 기반으로 하는 애플리케이션을 개발하기 위한 프레임워크이다. 이는 다음과 같은 애플리케이션을 가능하게 한다.상황 인식 : 언어 모델을 상황 소스 (즉시 지침, 몇 가지 예시, 응답을 기반으로 하는 콘텐츠 등)에 연결이유 : 언어 모델을 사용하여 추론 (제공된 맥락에 따라 답변하는 방법, 취해야 할 조치 등에 대해) 구성요소 RAG ( Retrieval-Augmented Generation ) RAG는 LLM에게 미리 질문과 관련된 참고자료를 ..
Kubernetes/MLOps 2023. 12. 30. 23:26
Nexus에 Pypi 저장소 구축

PyPi 는 Python의 온라인 저장소이며 pip install 을 실행할 때 라이브러리가 다운로드되는 곳이다. Nexus 에 Pypi 저장소를 구축하는 방법을 알아보좌. 우선 Nexus 에 Repository -> Create repository 를 선택한다. 3가지 모드가 있다. Proxy Nexus를 PyPI 프록시로 설정하여 PyPI 서버로부터 패키지를 캐싱한다. 이 방법은 네트워크 대역폭을 절약하고 빠른 속도로 패키지를 제공할 수 있다. Group 여러 저장소를 그룹으로 묶어서 하나의 저장소처럼 사용하는 방법이다. 그룹 저장소를 통해 여러 소스로부터 패키지를 가져올 수 있다. Hosted Nexus에서 직접 PyPI 저장소를 호스팅하는 방법이다. 이 방법은 독립적인 저장소를 만들어 직접 관리하..
Kubernetes/devops 2023. 12. 29. 11:15
이전 Prev 1 2 3 4 ··· 29 Next 다음