各製品の資料を入手。
詳細はこちら →
Kafka のデータをPower BI Service にインポートしてビジュアライズ
CData Connect Server を使用してKafka のOData フィードを作成し、Power BI Service でカスタムレポートを作成します。
最終更新日：2022-01-03
こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
Power BI を使えば会社のデータを美しいビジュアルに変換して収集および整理することができるため、重要なことだけに集中できます。CData Connect Serverと組み合わせることで、ビジュアライゼーションやダッシュボードなどのためにKafka のデータを使用できます。この記事では、CData Connect Server を使用してKafka のOData フィードを生成し、Kafka のデータをPower BI にインポートして、Kafka のデータを使ったレポートをPower BI サービスで作成する方法について説明します。
注意：Connect Server のオンプレミスデータゲートウェイとSQL インターフェースを使って（データをインポートする代わりに）リアルタイムでKafka のデータに接続することもできます。詳細については、関連するKnowledge Base の記事を参照してください。
Kafka のデータの仮想SQL データベースを作成
CData Connect Server は、簡単なポイントアンドクリックインターフェースを使用してAPI を生成します。
- Connect Server にログインし、「Databases」をクリックします。
- 「Available Data Sources」から「Kafka」を選択します。
-
必要な認証プロパティを入力し、Kafka に接続します。
Apache Kafka 接続プロパティの取得・設定方法
.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされ、自動的に本製品と一緒にインストールされます。 別のインストール方法を利用する場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0 をインストールしてください。
Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。
デフォルトでは、本製品はデータソースとPLAINTEXT で通信し、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化するには：
- UseSSL をtrue に設定し、本製品がSSL 暗号化を使用するように構成します。
- SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします。
Apache Kafka への認証
Apache Kafka データソースは、次の認証メソッドをサポートしています：- Anonymous
- Plain
- SCRAM ログインモジュール
- SSL クライアント証明書
- Kerberos
Anonymous
Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 こうした接続はanonymous（匿名）と呼ばれます。
匿名認証を行うには、このプロパティを設定します。
- AuthScheme：None。
その他の認証方法については、ヘルプドキュメントを参照してください。
- 「 Test Database」をクリックします。
- 「Permission」->「 Add」とクリックし、適切な権限を持つ新しいユーザー（または既存のユーザー）を追加します。
Power BI からConnect Server に接続
Power BI サービスにKafka のデータをインポートしてビジュアライズするには、Connect Server API ユーザーを追加してConnect Server にKafka OData エンドポイントを追加し、Power BI Desktop からサービスにデータセットを作成して公開します。
Connect Server ユーザーの追加
Power BI からConnect Server を介してKafka に接続するユーザーを作成します。
- ［Users］->［ Add］とクリックします。
- ユーザーを構成します。
- ［Save Changes］をクリックして新しいユーザーの認証トークンをメモします。
- 「Database」をクリックし、Kafka 仮想データベースを選択します。
- 「Permission」タブで、新規作成した（少なくともSELECT 権限を持つ）ユーザーを追加して「Save Changes」をクリックします。
Connect Server にKafka OData エンドポイントを追加
Kafka に接続したら、目的のテーブルのOData エンドポイントを作成します。
- ［OData］->［Tables］->［Add Tables］とクリックします。
- Kafka のデータベースを選択します。
- 使用するテーブルを選択し、［Next］をクリックします。
- （オプション）テーブルの定義を編集して特定のフィールドなどを選択します。
- 設定を保存します。
Power BI デスクトップからデータセットを公開
Connect Server にOData エンドポイントを追加すると、OData 接続を使用してPower BI デスクトップにデータセットを作成し、そのデータセットをPower BI サービスに公開できます。
- Power BIを開いて「Get Data」->「More」とクリックし、OData フィードを選択して「Connect」をクリックします。
- URL をConnect Server インスタンスのBase URL（例： CONNECT_SERVER_URL/api.rsc）に設定し、「OK」をクリックします。
- User name とPassword を上記のユーザー名と認証トークンに設定します。
- 設定を適用するレベルとして、フルのBase URL（CONNECT_SERVER_URL/api.rsc）を選択します。
- 「Navigator」ダイアログでテーブルを選択し、ビジュアライズします。
- 「Load」をクリックしてPower BI にデータをプルします。
- 「Relationships」タブで選択したエンティティ間の関係性を定義します。
- 「Home」メニューから「Publish」をクリックして「Workspace」を選択します。
Power BI Service のKafka のデータでレポートとダッシュボードを作成
Power BI サービスにデータセットを公開したので、公開されたデータを使って新しいレポートとダッシュボードを作成できます。
- PowerBI.com にログインします。
- 「Workspaces」をクリックし、ワークスペースを選択します。
- 「Create」をクリックし、「Report」を選択します。
- レポートに使用する公開済みデータセットを選択します。
- フィールドとビジュアライゼーションを選択してレポートを追加します。
アプリケーションからKafka のデータへSQL でアクセス
Power BI サービスからリアルタイムKafka のデータへの直接接続ができるようになりました。これで、Kafka を複製することなく多くのデータソースや新しいビジュアライゼーション、レポートを作成することができます。
アプリケーションから直接250+ SaaS 、Big Data 、NoSQL ソースへのSQL データアクセスを取得するには、CData Connect Server を参照してください。
