Apache Kafka Connect

Kafka Connect Nedir?

Açıklaması şöyle

Kafka Connect was added in the Kafka 0.9.0 release, and uses the Producer and Consumer API under the covers. The Connect Service is part of the Confluent platform and comes with the platform’s distribution along with Apache Kafka. 

Bir başka açıklama şöyle. Yani harici kaynakları Kafka'ya bağlamak için Kafka Connect kullanılır

Kafka Connect is an integration framework for connecting external sources/destinations to Kafka.

Bir başka açıklama şöyle. Yani Source ve Sink kavramları var

It can ingest databases to Kafka topics as a “source” connector or as a “sink” connector it can feed other data systems such as Elasticsearch.

Kafka Connect Cluster Başlatma

Kafka kurulumundaki

1. connect-standalone.sh veya

2. connect-distributed.sh

kullanılır.

Connector Olmadan Başlatmak İçin

Örnek

Şöyle yaparız

export KAFKA_INSTALL_DIR=<kafka installation directory e.g. /home/foo/kafka_2.12-2.5.0>

$KAFKA_INSTALL_DIR/bin/connect-distributed.sh connect-distributed.properties

Connector Çeşitleri

İki Çeşit Connector Var

1. Source Connector : Bir kaynağı sorgular ve oradaki veriyi Kafka'ya ithal eder

2. Sink Connector : Kafka'daki veriyi bir kaynağa ihraç eder.

Standalone ve Distributed Mode

Açıklaması şöyle

Apache Connect can be run in two modes: Standalone and Distributed. The first one is for testing and development.

Source Connector Örnekleri

1. 2. JDBCSourceConnector

JdbcSourceConnector yazısına taşıdım

Sink Connector Örnekleri

1. JDBCSinkConnector

JdbcSinkConnector yazısına taşıdım