목록2023/12 (8)

Kubernetes 이야기

kr8s - Kubernetes용 Python 클라이언트 라이브러리

Kubernetes Python 클라이언트 라이브러리는 보통 다음을 참고하여 개발한다. https://github.com/kubernetes-client Kubernetes Clients This organization hosts Kubernetes API client libraries. - Kubernetes Clients github.com kubernetes-client 는 asynio를 지원하지 않기 때문에 이런 경우에는 kubernetes-asyncio를 사용하기도 한다. https://github.com/tomplus/kubernetes_asyncio GitHub - tomplus/kubernetes_asyncio: Python asynchronous client library for Kube..
Kubernetes/일반 2023. 12. 31. 22:54
Ollama and Chainlit으로 Langchain과 RAG 구현하기

최근 유행하고 있는 벡터 저장소와 같은 외부 데이터 아카이브를 사용하여 LLM의 응답 품질을 향상시킬 수 있는 기술인 LangChain 및 RAG를 사용하는 방법을 알아보자. 우선 LangChain 에 대해 알아보자. LangChain LangChain은 언어 모델을 기반으로 하는 애플리케이션을 개발하기 위한 프레임워크이다. 이는 다음과 같은 애플리케이션을 가능하게 한다.상황 인식 : 언어 모델을 상황 소스 (즉시 지침, 몇 가지 예시, 응답을 기반으로 하는 콘텐츠 등)에 연결이유 : 언어 모델을 사용하여 추론 (제공된 맥락에 따라 답변하는 방법, 취해야 할 조치 등에 대해) 구성요소 RAG ( Retrieval-Augmented Generation ) RAG는 LLM에게 미리 질문과 관련된 참고자료를 ..
Kubernetes/MLOps 2023. 12. 30. 23:26
Nexus에 Pypi 저장소 구축

PyPi 는 Python의 온라인 저장소이며 pip install 을 실행할 때 라이브러리가 다운로드되는 곳이다. Nexus 에 Pypi 저장소를 구축하는 방법을 알아보좌. 우선 Nexus 에 Repository -> Create repository 를 선택한다. 3가지 모드가 있다. Proxy Nexus를 PyPI 프록시로 설정하여 PyPI 서버로부터 패키지를 캐싱한다. 이 방법은 네트워크 대역폭을 절약하고 빠른 속도로 패키지를 제공할 수 있다. Group 여러 저장소를 그룹으로 묶어서 하나의 저장소처럼 사용하는 방법이다. 그룹 저장소를 통해 여러 소스로부터 패키지를 가져올 수 있다. Hosted Nexus에서 직접 PyPI 저장소를 호스팅하는 방법이다. 이 방법은 독립적인 저장소를 만들어 직접 관리하..
Kubernetes/devops 2023. 12. 29. 11:15
Kubernetes에 Nexus 설치

Sonatype Nexus는 소프트웨어 개발에서 사용되는 인기 있는 저장소 관리자 도구이다. 이는 소프트웨어 개발 프로세스에서 사용되는 바이너리 파일, 라이브러리 및 종속성과 같은 artifact를 관리하는 데 사용된다. Nexus는 이러한 artifact를 저장하고 검색하기 위한 중앙 저장소를 제공하여 개발 팀이 종속성을 관리하고 라이브러리를 공유하며 소프트웨어 빌드 프로세스의 일관성을 유지하는 데 도움을 준다. 개발자들은 Java개발 시 maven이나 gradle 컴파일 할 때 내부 Nexus 서버와 연동하여 jar 파일 등을 다운로드하거나 jar 를 deploy하는 형태로 많이 사용할 것이다. 특히 폐쇄망 환경에서는 거의 필수로 사용된다. 하지만, Nexus는 이러한 빌드 도구와의 통합 외에도 다양..
Kubernetes/devops 2023. 12. 29. 08:26
kubernetes apiserver 를 통해 Cluster 정보 조회

인증 설정방법 0) 접근하는 API 서버 설정 KUBE_SERVER=$(kubectl config view -o jsonpath='{.clusters[0].cluster.server}') 1) x.509 인증 방식으로 apiserver 접근 시 호출방법 curl --cert --key --cacert \ $KUBE_SERVER/api/v1/pods 2) token 정보를 활용하여 apiserver 접근 시 호출방법 curl --insecure --header "Authorization: Bearer $KUBE_TOKEN" $KUBE_SERVER/api/v1/pods API 사용예제 - 모든 pod list 호출방법 curl -k --cert 111.cert --key 111.key --cacert 111..
Kubernetes/일반 2023. 12. 25. 23:43
Kafka를 사용하여 실시간 데이터 파이프라인 구축

Apache Kafka는 방대한 양의 데이터를 처리, 저장 및 실시간 분석할 수 있는 분산 스트리밍 플랫폼이다. 기계학습 (ML)에서도 Apache Kafka와 연동한 예측 서비스로 많이 활용되는 플랫폼이다. Kafka의 일반적인 사용 예 이벤트 소싱: 애플리케이션 상태에 대한 변경 사항을 일련의 이벤트로 캡처 스트림 처리: 실시간 분석 및 모니터링 데이터 레이크: 다양한 데이터 소스를 통합된 중앙 저장소에 통합 Apache Spark 및 Hadoop과 같은 빅 데이터 도구와의 통합 Kafka가 ML에 사용되는 주요 예 실시간 데이터 파이프라인 : Kafka는 다양한 소스의 대량 실시간 데이터를 데이터 과학 및 기계 학습 모델로 스트리밍하는 방법을 제공한다. 이를 통해 지속적인 예측을 수행하고 실시간 데..
Kubernetes/MLOps 2023. 12. 11. 16:56
이전 Prev 1 2 Next 다음