목록Kubernetes (136)

Kubernetes 이야기

Kubernetes에 Nexus 설치

Sonatype Nexus는 소프트웨어 개발에서 사용되는 인기 있는 저장소 관리자 도구이다. 이는 소프트웨어 개발 프로세스에서 사용되는 바이너리 파일, 라이브러리 및 종속성과 같은 artifact를 관리하는 데 사용된다. Nexus는 이러한 artifact를 저장하고 검색하기 위한 중앙 저장소를 제공하여 개발 팀이 종속성을 관리하고 라이브러리를 공유하며 소프트웨어 빌드 프로세스의 일관성을 유지하는 데 도움을 준다. 개발자들은 Java개발 시 maven이나 gradle 컴파일 할 때 내부 Nexus 서버와 연동하여 jar 파일 등을 다운로드하거나 jar 를 deploy하는 형태로 많이 사용할 것이다. 특히 폐쇄망 환경에서는 거의 필수로 사용된다. 하지만, Nexus는 이러한 빌드 도구와의 통합 외에도 다양..
Kubernetes/devops 2023. 12. 29. 08:26
kubernetes apiserver 를 통해 Cluster 정보 조회

인증 설정방법 0) 접근하는 API 서버 설정 KUBE_SERVER=$(kubectl config view -o jsonpath='{.clusters[0].cluster.server}') 1) x.509 인증 방식으로 apiserver 접근 시 호출방법 curl --cert --key --cacert \ $KUBE_SERVER/api/v1/pods 2) token 정보를 활용하여 apiserver 접근 시 호출방법 curl --insecure --header "Authorization: Bearer $KUBE_TOKEN" $KUBE_SERVER/api/v1/pods API 사용예제 - 모든 pod list 호출방법 curl -k --cert 111.cert --key 111.key --cacert 111..
Kubernetes/일반 2023. 12. 25. 23:43
Kafka를 사용하여 실시간 데이터 파이프라인 구축

Apache Kafka는 방대한 양의 데이터를 처리, 저장 및 실시간 분석할 수 있는 분산 스트리밍 플랫폼이다. 기계학습 (ML)에서도 Apache Kafka와 연동한 예측 서비스로 많이 활용되는 플랫폼이다. Kafka의 일반적인 사용 예 이벤트 소싱: 애플리케이션 상태에 대한 변경 사항을 일련의 이벤트로 캡처 스트림 처리: 실시간 분석 및 모니터링 데이터 레이크: 다양한 데이터 소스를 통합된 중앙 저장소에 통합 Apache Spark 및 Hadoop과 같은 빅 데이터 도구와의 통합 Kafka가 ML에 사용되는 주요 예 실시간 데이터 파이프라인 : Kafka는 다양한 소스의 대량 실시간 데이터를 데이터 과학 및 기계 학습 모델로 스트리밍하는 방법을 제공한다. 이를 통해 지속적인 예측을 수행하고 실시간 데..
Kubernetes/MLOps 2023. 12. 11. 16:56
Strimzi로 Kubernetes에 Apache Kafka 설치

Strimzi는 다양한 배포 구성으로 Kubernetes에서 Apache Kafka 클러스터를 실행하는 프로세스를 단순화 할 수 있다. 개발을 위해서는 몇 분 안에 Minikube에 클러스터를 쉽게 설정할 수 있고, 프로덕션의 경우 가용성 영역 전체 노드에 브로커를 분산시키거나 Kubernetes taints 와 tolerations과 같은 기능을 사용하여 전용 노드에서 Kafka를 실행하여 필요에 맞게 클러스터를 맞춤화할 수 있다. Kafka 우선 Kafka 에 대해 알아보자. 주요 용어 Producer : Kafka에 데이터를 보낸다. 이는 애플리케이션, 데이터베이스, 장치 등에서 발생할 수 있다. Consumer : Kafka에서 데이터를 읽는다. 분석 도구, 데이터베이스 또는 기타 애플리케이션이 ..
Kubernetes/일반 2023. 12. 10. 16:16
Kubernetes Gateway API

23년도 10월에 Kubernetes Gateway API v1.0이 GA release되었다. Kubernetes Gateway API 가 무엇인지 알아보자. Gateway API란 무엇인가? Gateway API는 SIG-NETWORK 커뮤니티 에서 관리하는 오픈 소스 프로젝트로 Kubernetes에서 서비스 네트워킹을 모델링하는 API(리소스 모음)이다. 기존에 Kubernetes에서는 Ingress라는 인바운드 트래픽 제어 기능이 있다. 우선 어떤 차이가 있는지 살펴보자. Ingress Ingress는 외부 트래픽을 클러스터 내부 서비스로 전달하는 방법을 정의하여 HTTP 및 HTTPS 트래픽의 진입점 역할을 한다. Gateway API Ingress에서 지원이 어려운 가중치 트래픽 라우팅, 역할..
Kubernetes/일반 2023. 12. 10. 10:59
MLflow Serving

Model Serving에 대해서는 다음의 글을 참고한다. https://kmaster.tistory.com/158 https://kmaster.tistory.com/166 mlflow에서도 Serving 기능을 제공한다. 이에 대해 알아보자. https://mlflow.org/docs/latest/tutorials-and-examples/tutorial.html 예제 소스를 사용하여 Serving을 수행해 보자. # mlflow models serve -m ./mlruns/0//artifacts/model -p 여기서 port는 모델 api를 수신받을 수 있는 임의의 port를 지정하면 된다. # mlflow models serve -m ./mlartifacts/0/9927ff56416742b48544..
Kubernetes/MLOps 2023. 9. 9. 12:51
이전 Prev 1 2 3 4 5 ··· 23 Next 다음