Data Base/Kafka
-
apache kafka 핵심요소 3가지(Broker, Replication, ISR)Data Base/Kafka 2022. 9. 6. 14:55
replication 즉 복제는 kafka 아키텍쳐의 핵심이다. *cluster에서 서버에 장애가 생길 때 kafka의 *가용성을 보장하는 가장 좋은 방법이 복제이기 때문이다. *computer cluster(컴퓨처 클러스터) : 여러 대의 컴퓨터 들이 연결되어 하나의 시스템처럼 동작하는 컴퓨터들의 집합을 말한다. 클러스터의 구성 요소들은 일반적으로 고속의 근거리 통신망 으로 연결된다. 서버로 사용되는 노드에는 각각의 운영체제가 실행된다. 컴퓨터 클러스터는 저렴한 마이크로프로세스와 고속의 네트워크, 그리고 고성능 분산 컴퓨팅용 소프트웨어들의 조합 결과로 태어났다. *가용성 : 시스템 품질 속성 중 시스템이 장애 없이 정상적으로 운영되는 능력 Kafka broker kafka broker는 kafka가 설..
-
apache kafka TopicData Base/Kafka 2022. 9. 5. 13:38
Topic 카프카에는 다양한 데이터가 들어 갈 수 있는데, 그 데이터가 들어 갈 수 있는 공간을 Topic이라고 한다. 이 카프카 Topic은 AMQP와는 다르게 동작한다. 카프카에서는 토픽을 여러개 생성할 수 있다. Topic은 데이터베이스의 테이블이나 파일시스템의 폴더와 유사한 성질을 가지고 있는데, 이 토픽에 Producer 데이터를 넣게되고 Consumer는 데이터를 가져가게된다. Topic은 이름을 가질 수 있는데, 목적에 따라 클릭로그,send sms,location log 등과 같이 무슨 데이터를 담는지 명확하게 명시하면 추후 유지보수 시 편리하게 관리 할 수 있다. Topic 내부 하나의 토픽은 여러개의 파티션으로 구성될 수 있으며, 첫번째 파티션 번호는 0번부터 시작한다. 하나의 파티션은..
-
apache kafka 개요Data Base/Kafka 2022. 9. 2. 18:55
단방향 데이터 전송 데이터를 전송하는 Source App과 데이터를 받는 Target App이 있었다. 초기에는 간단하게 단방향 데이터 송신을 수행하였다. 그런데 시간이 지날 수록 Source App과 Target App이 많아 지면서, 데이터를 전송하는 Line이 매우 복잡하게 되었다. 많은 수의 Source App 과 Target App 문제는 Source App 갯수와 Target App 갯수가 많아 질 수록 서로 데이터를 전송하는 Line이 많아 지게된다. 데이터 전송 Line이 많아지게되면 배포와 장애에 대응하기 어려워 진다. Before Kafaka 또한 데이터를 전송할 때 프로토콜 포맷의 파편화가 심해졌다. 그리고 추후에 데이터에 포맷 내부에 변경사항이 있을때 유지 보수가 매우 어려워 졌다...