Amazon QuickSight でKafka のデータに連携するインタラクティブなダッシュボードを作成

CData Connect Server を使ってKafka のデータの仮想エンドポイントを作成して、Amazon QuickSight からKafka のデータを使ったインタラクティブダッシュボードを作成。

加藤龍彦
デジタルマーケティング
最終更新日：2022-04-16

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Amazon QuickSight は、ユーザーがインタラクティブなダッシュボードを作成できるサービスです。Amazon QuickSight とCData Connect Server を一緒に使うことで、簡単にKafka のデータに連携する可視化、ダッシュボードを作成することができます。この記事では、Connect Server を経由してAmazon QuickSight からKafka に連携するダッシュボードを作成する方法を説明します。

CData Connect Server は、Kafka のデータの仮想インターフェースを提供し、Amazon QuickSight からリアルタイムKafka のデータに直接連携することができます。Amazon QuickSight に簡単にKafka のデータをインポートすることで、レスポンシブなダッシュボードをAWS エコシステム上で作成することができます。

Kafka の仮想MySQL データベースを作成

CData Connect Server は、直観的なPoint-and-click インターフェースでデータソースへの接続およびAPI エンドポイント作成を行います。

Connect Server にログインして、Databases をクリックします。
利用できるデータソースアイコンから"Kafka" を選択します。
Kafka に接続するために必要なプロパティを入力します。
Apache Kafka 接続プロパティの取得・設定方法

.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。これらのアセンブリはインストーラーにバンドルされ、自動的に本製品と一緒にインストールされます。別のインストール方法を利用する場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0 をインストールしてください。
Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。
デフォルトでは、本製品はデータソースとPLAINTEXT で通信し、これはすべてのデータが暗号化なしで送信されることを意味します。通信を暗号化するには：
1. UseSSL をtrue に設定し、本製品がSSL 暗号化を使用するように構成します。
2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします。
Apache Kafka への認証
Apache Kafka データソースは、次の認証メソッドをサポートしています：
- Anonymous
- Plain
- SCRAM ログインモジュール
- SSL クライアント証明書
- Kerberos
Anonymous
Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。こうした接続はanonymous（匿名）と呼ばれます。
匿名認証を行うには、このプロパティを設定します。
- AuthScheme：None。
その他の認証方法については、ヘルプドキュメントを参照してください。
Test Database をクリックします。
Permission -> Add をクリックして、新しいユーザーを追加し、適切な権限を指定します。

これで、Kafka の仮想データベースが作成でき、Amazon QuickSight からの可視化が可能になりました。

QuickSight にKafka のデータをインポートして、インタラクティブダッシュボードを作成

次の手順で、Kafka の仮想データベースをCData Connedct Server に作成し、データをインポートして可視化を作成します。

Amazon QuickSight にログインして「データセット」をクリックします。
次に「新しいデータセット」をクリックし、SQL Server をデータソースとして選択します。以下のように、CData Connect Server インスタンスの接続情報を入力していきます。
- データソース名：任意
- 接続タイプ：パブリックネットワーク
- データベースサーバー: 接続するCData Connect Server インスタンスのURL。例：CONNECT_SERVER_URL
- ポート：インスタンス接続用のポート。1433 など。
- データベース名：仮想データベース名、例： ApacheKafka1
- ユーザー名：Connect Server で接続許可を与えたユーザー名
- パスワード：Connect Server ユーザーのパスワード
- SSL：インスタンス側でSSL を設定している場合にはオンに、設定していない場合はオフにしてください。
「接続を検証」をクリックして接続をテストし、問題がなければ「データソースを作成」をクリックして接続を確立します。
テーブルの選択画面で、「カスタムSQL を使用」を選択します。
次の画面で、「データの編集/プレビュー」を選択します。
カスタムSQL を入力、およびデータをプレビューできる画面が表示されるので、「スキーマエクスプローラー」から可視化したいスキーマおよびテーブルを選択して、以下の形式でカスタムクエリを作成します。
SELECT <カラム名> FROM [<スキーマ名>].[<テーブル名>]。例えば、SELECT * FROM [ApacheKafka1].[SampleTable_1] などです。
プレビューでデータを確認できたら、「保存して視覚化」ボタンを押して、データをロードします。
あとは、フィールドとタイプを選択して自在に可視化を作成できます。