各製品の資料を入手。
詳細はこちら →
製品をチェック
KNIME でKafka のデータに接続、データを取得する方法
KNIME の標準データ接続コンポーネントを使用してKafka のチャートとレポートを作成する方法を解説します。
最終更新日：2023-11-01
この記事で実現できるKafka 連携のシナリオ
こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
本記事では、KNIME からKafka のデータにアクセスし、レポートデザイナを使用してKafka からチャートを作成する方法を解説します。
CData JDBC ドライバの特徴
CData ODBC ドライバは、以下の特徴を持つリアルタイムデータ接続ソリューションです。
- Kafka をはじめとする、CRM、MA、グループウェア、広告、会計ツールなど多様な270種類以上のSaaS / DB に対応
- 多様なアプリケーション、ツールにKafka のデータをJDBC 経由で連携
- ノーコードでの手軽な接続設定
- 標準 SQL での柔軟なデータ読み込み・書き込み
CData JDBC ドライバでは、1.データソースとしてKafka の接続を設定、2.KNIME 側でJDBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。
CData JDBC ドライバのインストールとKafka への接続設定
まずは、本記事右側のサイドバーからApacheKafka JDBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。
Kafka のデータへの新しいJDBC 接続を設定
- File -> Preferences -> KNIME -> Databases と進めていきます。
- Add File をクリックし、cdata.jdbc.apachekafka.jar を追加します。ドライバーJAR ファイルは、インストールディレクトリのlib サブフォルダにあります。
- Find driver classes をクリックします。
- 接続のID とName を設定します（これらの項目に制限はないため、任意の値を設定してください）。
- URL template を設定します。一般的なJDBC URL は次のとおりです。
jdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic; - OK をクリックして設定セクションを閉じます。
- Node Repository の下で、DB -> Connection -> DB Connector をドラッグアンドドロップします。これをダブルクリックし、Driver Name を先ほど設定したドライバー、今回は「Kafka (ID: Kafka)」に変更します。Database URL は自動で変更されます。
- Apply をクリックし、続けてOK で変更を保存します。
- コネクタを右クリックし、Execute を選択します。コネクタによってブラウザにリダイレクトされるので、そこでログインしてアクセスを許可する必要があります。そうすると、正常に接続されます。
-
DB Query Reader をダブルクリックし、更新ボタンをクリックしてメタデータを読み込みます。SQL を記述して、Evaluate をクリックします。Evaluate をクリックすると、リクエストされたレコードが表示されます。ドライバーに記載されているテーブル / ビューの詳細については、データモデルを参照してください。
JDBC URL の構成については、Kafka JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルをダブルクリックするか、またはコマンドラインからjar ファイルを実行します。
java -jar cdata.jdbc.apachekafka.jar
接続プロパティについて、詳しくはドキュメントを参照してください。
これで、Node Repository のRead/Write セクションからDB Query Reader を取得し、クエリを実行できるようになります。
Kafka からKNIME へのデータ連携には、ぜひCData JDBC ドライバをご利用ください
本記事で紹介したようにCData JDBC ドライバと併用することで、270を超えるSaaS、NoSQL、DB のデータをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。
CData JDBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。製品の使用方法、購入方法などについてご質問がありました、お気軽にお問い合わせください。
関連コンテンツ
