일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- keda
- blue/green
- Argo
- tekton
- knative
- CANARY
- mlops
- opensearch
- 오퍼레이터
- 카오스 엔지니어링
- Model Serving
- Kopf
- gitea
- serving
- kubernetes operator
- Kubernetes
- Kubernetes 인증
- argocd
- MLflow
- operator
- Kubeflow
- Litmus
- nginx ingress
- opentelemetry
- gitops
- argo rollout
- Pulumi
- CI/CD
- seldon core
- Continuous Deployment
- Today
- Total
목록Kubernetes (135)
Kubernetes 이야기
인증 설정방법 0) 접근하는 API 서버 설정 KUBE_SERVER=$(kubectl config view -o jsonpath='{.clusters[0].cluster.server}') 1) x.509 인증 방식으로 apiserver 접근 시 호출방법 curl --cert --key --cacert \ $KUBE_SERVER/api/v1/pods 2) token 정보를 활용하여 apiserver 접근 시 호출방법 curl --insecure --header "Authorization: Bearer $KUBE_TOKEN" $KUBE_SERVER/api/v1/pods API 사용예제 - 모든 pod list 호출방법 curl -k --cert 111.cert --key 111.key --cacert 111..
Apache Kafka는 방대한 양의 데이터를 처리, 저장 및 실시간 분석할 수 있는 분산 스트리밍 플랫폼이다. 기계학습 (ML)에서도 Apache Kafka와 연동한 예측 서비스로 많이 활용되는 플랫폼이다. Kafka의 일반적인 사용 예 이벤트 소싱: 애플리케이션 상태에 대한 변경 사항을 일련의 이벤트로 캡처 스트림 처리: 실시간 분석 및 모니터링 데이터 레이크: 다양한 데이터 소스를 통합된 중앙 저장소에 통합 Apache Spark 및 Hadoop과 같은 빅 데이터 도구와의 통합 Kafka가 ML에 사용되는 주요 예 실시간 데이터 파이프라인 : Kafka는 다양한 소스의 대량 실시간 데이터를 데이터 과학 및 기계 학습 모델로 스트리밍하는 방법을 제공한다. 이를 통해 지속적인 예측을 수행하고 실시간 데..
Strimzi는 다양한 배포 구성으로 Kubernetes에서 Apache Kafka 클러스터를 실행하는 프로세스를 단순화 할 수 있다. 개발을 위해서는 몇 분 안에 Minikube에 클러스터를 쉽게 설정할 수 있고, 프로덕션의 경우 가용성 영역 전체 노드에 브로커를 분산시키거나 Kubernetes taints 와 tolerations과 같은 기능을 사용하여 전용 노드에서 Kafka를 실행하여 필요에 맞게 클러스터를 맞춤화할 수 있다. Kafka 우선 Kafka 에 대해 알아보자. 주요 용어 Producer : Kafka에 데이터를 보낸다. 이는 애플리케이션, 데이터베이스, 장치 등에서 발생할 수 있다. Consumer : Kafka에서 데이터를 읽는다. 분석 도구, 데이터베이스 또는 기타 애플리케이션이 ..
23년도 10월에 Kubernetes Gateway API v1.0이 GA release되었다. Kubernetes Gateway API 가 무엇인지 알아보자. Gateway API란 무엇인가? Gateway API는 SIG-NETWORK 커뮤니티 에서 관리하는 오픈 소스 프로젝트로 Kubernetes에서 서비스 네트워킹을 모델링하는 API(리소스 모음)이다. 기존에 Kubernetes에서는 Ingress라는 인바운드 트래픽 제어 기능이 있다. 우선 어떤 차이가 있는지 살펴보자. Ingress Ingress는 외부 트래픽을 클러스터 내부 서비스로 전달하는 방법을 정의하여 HTTP 및 HTTPS 트래픽의 진입점 역할을 한다. Gateway API Ingress에서 지원이 어려운 가중치 트래픽 라우팅, 역할..
Model Serving에 대해서는 다음의 글을 참고한다. https://kmaster.tistory.com/158 https://kmaster.tistory.com/166 mlflow에서도 Serving 기능을 제공한다. 이에 대해 알아보자. https://mlflow.org/docs/latest/tutorials-and-examples/tutorial.html 예제 소스를 사용하여 Serving을 수행해 보자. # mlflow models serve -m ./mlruns/0//artifacts/model -p 여기서 port는 모델 api를 수신받을 수 있는 임의의 port를 지정하면 된다. # mlflow models serve -m ./mlartifacts/0/9927ff56416742b48544..
MLflow는 End to End 기계 학습 수명주기를 관리하기 위한 오픈 소스 플랫폼으로 다음과 같은 구성 요소를 제공한다. 구성요소 MLflow Tracking : mlflow에서 가장 많이 사용하는 기능으로 실험을 기록하고 쿼리할 수 있다. 또한 각 실험의 코드, 데이터, 구성 및 결과를 추적한다. MLflow Project : 코드를 플랫폼에 구애받지 않는 형식으로 패키징하여 실험을 재현할 수 있다. MLflow Model : 다양한 ML 라이브러리에서 다양한 모델 제공 및 추론 플랫폼까지 모델을 관리하고 배포할 수 있다. MLflow Model Registry : 모델 버전 관리, 단계 전환 및 주석을 포함하여 MLflow 모델의 전체 수명 주기를 공동으로 관리하기 위한 중앙 모델 저장소를 제공..