목록Apache Kafka (2)

Kubernetes 이야기

Kafka를 사용하여 실시간 데이터 파이프라인 구축

Apache Kafka는 방대한 양의 데이터를 처리, 저장 및 실시간 분석할 수 있는 분산 스트리밍 플랫폼이다. 기계학습 (ML)에서도 Apache Kafka와 연동한 예측 서비스로 많이 활용되는 플랫폼이다. Kafka의 일반적인 사용 예 이벤트 소싱: 애플리케이션 상태에 대한 변경 사항을 일련의 이벤트로 캡처 스트림 처리: 실시간 분석 및 모니터링 데이터 레이크: 다양한 데이터 소스를 통합된 중앙 저장소에 통합 Apache Spark 및 Hadoop과 같은 빅 데이터 도구와의 통합 Kafka가 ML에 사용되는 주요 예 실시간 데이터 파이프라인 : Kafka는 다양한 소스의 대량 실시간 데이터를 데이터 과학 및 기계 학습 모델로 스트리밍하는 방법을 제공한다. 이를 통해 지속적인 예측을 수행하고 실시간 데..
Kubernetes/MLOps 2023. 12. 11. 16:56
Strimzi로 Kubernetes에 Apache Kafka 설치

Strimzi는 다양한 배포 구성으로 Kubernetes에서 Apache Kafka 클러스터를 실행하는 프로세스를 단순화 할 수 있다. 개발을 위해서는 몇 분 안에 Minikube에 클러스터를 쉽게 설정할 수 있고, 프로덕션의 경우 가용성 영역 전체 노드에 브로커를 분산시키거나 Kubernetes taints 와 tolerations과 같은 기능을 사용하여 전용 노드에서 Kafka를 실행하여 필요에 맞게 클러스터를 맞춤화할 수 있다. Kafka 우선 Kafka 에 대해 알아보자. 주요 용어 Producer : Kafka에 데이터를 보낸다. 이는 애플리케이션, 데이터베이스, 장치 등에서 발생할 수 있다. Consumer : Kafka에서 데이터를 읽는다. 분석 도구, 데이터베이스 또는 기타 애플리케이션이 ..
Kubernetes/일반 2023. 12. 10. 16:16
이전 Prev 1 Next 다음