各製品の資料を入手。
詳細はこちら →
製品をチェック
Domo Workbench のKafka からデータセットを作成し、Domo からKafka データ に連携するビジュアライゼーションを作成
Domo Workbench でKafka のデータ からデータセットを作成し、Domo サービスでビジュアライゼーションを作成するには、CData ODBC Driver for ApacheKafka を使用します。
最終更新日：2022-10-03
この記事で実現できるKafka 連携のシナリオ
こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。
Domo は、組織全体でデータを管理、分析、また共有し、組織が戦略的な機会を逃さず判断し対応することを実現するデータ活用プラットフォームです。Domo Workbench は、社内データをDomo にアップロードするための安全なクライアントサイドソリューションを提供します。CData ODBC Driver for ApacheKafka は、Domo Workbench をKafka のデータ に連携します。Workbench で標準のSQL クエリを使用してKafka のデータ からデータセットを構築し、Domo サービスでKafka のデータ のリアルタイムビジュアライゼーションを作成できます。
CData ODBC ドライバーは、最適化されたデータ処理がドライバーに組み込まれているため、Domo のライブKafka のデータとの連携に高いパフォーマンスを提供します。Domo からKafkaに複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作を直接Kafkaにプッシュし、埋め込みSQL エンジンを利用してサポートされていない操作（SQL 関数やJOIN 操作）を処理します。 組み込みの動的メタデータクエリを使用すると、ネイティブのDomo データ型を使用してKafka のデータを視覚化および分析できます。
CData ODBC ドライバとは？
CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。
- Kafka をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
- 多様なアプリケーション、ツールにKafka のデータを連携
- ノーコードでの手軽な接続設定
- 標準 SQL での柔軟なデータ読み込み・書き込み
CData ODBC ドライバでは、1.データソースとしてKafka の接続を設定、2.Domo 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。
CData ODBC ドライバのインストールとKafka への接続設定
まずは、本記事右側のサイドバーからApacheKafka ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。
ODBC DSN (data source name) にて接続プロパティをまだ指定していない場合、指定します。ODBC DSN を作成し構成するために、Microsoft ODBC Data Source Administrator を利用できます。
Apache Kafka 接続プロパティの取得・設定方法
.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされ、自動的に本製品と一緒にインストールされます。 別のインストール方法を利用する場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0 をインストールしてください。
Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。
デフォルトでは、本製品はデータソースとPLAINTEXT で通信し、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化するには：
- UseSSL をtrue に設定し、本製品がSSL 暗号化を使用するように構成します。
- SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします。
Apache Kafka への認証
Apache Kafka データソースは、次の認証メソッドをサポートしています：
- Anonymous
- Plain
- SCRAM ログインモジュール
- SSL クライアント証明書
- Kerberos
Anonymous
Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 こうした接続はanonymous（匿名）と呼ばれます。
匿名認証を行うには、このプロパティを設定します。
- AuthScheme：None。
その他の認証方法については、ヘルプドキュメントを参照してください。
DSN を構成する際、Max Rows の接続プロパティ設定が必要かもしれません。これにより返される行数を制限します。レポートやビジュアライゼーション（可視化）を設計する際のパフォーマンス向上に、とくに役立ちます。
DSN を作成したあと、Kafka DSN を用いDomo Workbench でKafka のデータセットを作成し、そのデータセットに基づきDomo サービスでビジュアライゼーションを構築する必要があります。
Kafka データ のデータセットを作成
下記の手順に沿って、CData ODBC Driver for ApacheKafka を用いて Domo Workbench のKafka のテーブルに基づいたデータセットを構築できます。
- Domo Workbenchを開きます。まだDomo サービスサーバーをWorkbench に追加していない場合、追加します。Accounts のサブメニューより、Add New をクリック。サーバーアドレス（domain.domo.com など）を入力し、認証ウィザードからクリックします。
- DataSet Jobs サブメニューから、Add New をクリックします。
- データセットジョブに名前をつけ（ODBC Kafka SampleTable_1など）、変換方法としてODBC Connection Provider を選択、ウィザードからクリックします。
- 新規に作成されたDataSet Job で、Source へ移動、設定を構成するためクリックします。
- Connection Type にSystem DSN を選択します。
- System DSN に以前構成したDSN （CData ApacheKafka Sys）を選択します。
- 構成を確定するためクリックします。
- 設定にて、Query をSQL クエリに設定します。
SELECT * FROM SampleTable_1備考: ODBC ドライバーを利用しKafka のデータ データへ接続することで、データを取得するためにシンプルなSQL の知識だけで、Kafka 特有のAPI またはプロトコルを知る必要性がなくなります。 - Preview をクリックします。
- 生成されたスキーマからデータを確認し、変更を加えます。それから、保存しデータセットのジョブを実行します。
データセットのジョブを実行すると、データセットはDomo サービスからアクセス可能になります。これにより、Kafka のデータ を基にした可視化、レポート作成、そしてさらにさまざまなことができるようになります。
データビジュアライゼーションを作成
DataSet Job を保存しDomo Workbench 上で実行すると、Domo サービス上で Kafka のデータ の可視化準備が完了です。
- Data Center へ移動します。
- データウェアハウスにて、ODBC データソースを選択し、新しいデータセットへドリルダウンします。
- データセットを選択し、Create a visualization を選びます。
- 新しいカードで、下記を実行します。
- Dimension をX Value へドラッグ。
- Measure をY Value へドラッグ。
- Visualization を選択。
おわりに
このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。
CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。
関連コンテンツ
