各製品の資料を入手。
詳細はこちら →DBeaver からKafka のデータに連携して可視化する方法とは?
クエリブラウザなどのDBeaver のビジュアルツールを使ってKafka のデータを管理する方法を解説します。
最終更新日:2024-03-08
この記事で実現できるKafka 連携のシナリオ
こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
CData JDBC Driver for ApacheKafka は、IDE からBI ツールまで、サードパーティーツールからKafka のデータの読み書きを可能にするJDBC 標準を提供します。本記事では、DBeaver のウィザードを使ってKafka のデータに接続し、GUI 上でデータを参照する方法を紹介します。
CData JDBC ドライバとは?
CData JDBC ドライバは、以下の特徴を持ったリアルタイムデータ接続ツールです。
- Kafka をはじめとする、CRM、MA、グループウェア、広告、会計ツールなど多様な270種類以上のSaaS / DB に対応
- DBeaver を含む多様なアプリケーション、ツールにKafka のデータを連携
- ノーコードでの手軽な接続設定
- 標準 SQL での柔軟なデータ読み込み・書き込み
CData JDBC ドライバでは、1.データソースとしてKafka の接続を設定、2.DBeaver 側でJDBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。
CData JDBC ドライバのインストールとKafka への接続設定
まずは、本記事右側のサイドバーからApacheKafka JDBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。
次に、以下の手順でDBeaver にドライバーのJAR ファイルをロードします。
- DBeaver アプリケーションを開き、「データベース」メニューの「ドライバーマネジャー」オプションを選択します。「新規」をクリックして「新しいドライバを作成する」フォームを開きます。
- 設定タブで:
- ドライバ名をわかりやすい名前に設定します(例:CData JDBC Driver for Kafka)。
- クラス名をJDBC ドライバーのクラス名「cdata.jdbc.apachekafka.ApacheKafkaDriver」に設定します。
- URL テンプレートをjdbc:apachekafka: に設定します。
- ライブラリタブで「ファイルを追加」をクリックし、インストールディレクトリ(C:\Program Files\CData\CData JDBC Driver for Kafka XXXX\)の「lib」フォルダに移動してJAR ファイル(cdata.jdbc.ApacheKafka.jar)を選択します。
Kafka のデータの接続を作成
以下の手順で、認証情報およびその他の必要な接続プロパティを追加します。
- 「データベース」メニューで、「新しい接続」をクリックします。
- 表示される「新しい接続を作成する」 ウィザードで、先ほど作成したドライバー(例:CData JDBC Driver for Kafka)を選択し、「次へ >」をクリックします。
- 設定ウィザードの一般タブで、以下を参考に必要な接続プロパティを使用してJDBC URL を設定します。
Apache Kafka 接続プロパティの取得・設定方法
.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされ、自動的に本製品と一緒にインストールされます。 別のインストール方法を利用する場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0 をインストールしてください。
Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。
デフォルトでは、本製品はデータソースとPLAINTEXT で通信し、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化するには:
- UseSSL をtrue に設定し、本製品がSSL 暗号化を使用するように構成します。
- SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします。
Apache Kafka への認証
Apache Kafka データソースは、次の認証メソッドをサポートしています:- Anonymous
- Plain
- SCRAM ログインモジュール
- SSL クライアント証明書
- Kerberos
Anonymous
Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 こうした接続はanonymous(匿名)と呼ばれます。
匿名認証を行うには、このプロパティを設定します。
- AuthScheme:None。
その他の認証方法については、ヘルプドキュメントを参照してください。
組み込みの接続文字列デザイナー
JDBC URL の作成の補助として、Kafka JDBC Driver に組み込まれている接続文字列デザイナーが使用できます。JAR ファイルをダブルクリックするか、コマンドラインからjar ファイルを実行します。
java -jar cdata.jdbc.apachekafka.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
一般的な接続文字列:
jdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;
- 「テスト接続」をクリックして、接続が正しく設定されていることを確認します。
- 「終了」をクリックします。
Kafka のデータにクエリを実行
これで、接続できたことで公開されたテーブルのデータにクエリを実行できるようになりました。テーブルを右クリックし、「ビュー表」をクリックします。「データ」タブでデータを確認できます。
