Qlik Sense Cloud のKafka からアプリを作成

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Qlik Sense Cloud を使用すると、データのビジュアライゼーションを作成および共有して、新しい方法で情報を操作できます。CData Connect Server は、Kafka の仮想データベースを作成し、Kafka のOData API（Qlik Sense Cloud でネイティブに使用可能）を生成するために使用できます。Qlik Sense Cloud をCData Connect Server とペアリングすることで、すべてのSaaS およびビッグデータとNoSQL ソースへの接続が可能になります。データを移行したり統合したりする必要はありません。ほかのREST サービスと同様に、Qlik Sense Cloud からConnect Server に接続するだけで、Kafka のデータに瞬時にライブアクセスできます。

この記事では、二つの接続について説明します。

1. Connect Server からKafka への接続。
2. Qlik Sense Cloud からConnect Server に接続してモデルを作成し、シンプルなダッシュボードを構築。

Connect Server を構成してKafka に接続

Qlik Sense Cloud からKafka に接続するには、Connect Server インスタンスからKafka アクセスを設定する必要があります。これは、ユーザーの作成、Kafka への接続、OData エンドポイントの追加、（オプションとして）CORS の構成を意味します。

Connect Server ユーザーの追加

Qlik Sense Cloud からKafka に接続するCloub Hub のユーザーを作成します。

1. ［Users］->［ Add］とクリックします。
2. ユーザーを構成します。
3. ［Save Changes］をクリックして新しいユーザーの認証トークンをメモします。

Connect Server からKafka に接続

CData Connect Server は、簡単なポイントアンドクリックインターフェースを使用してAPI を生成します。

1. Connect Server を開き、「CONNECTIONS」をクリックします。
2. 「Available Data Sources」から「Kafka」を選択します。
3. 必要な認証プロパティを入力し、Kafka に接続します。
   
   

   Apache Kafka 接続プロパティの取得・設定方法

   .NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされ、自動的に本製品と一緒にインストールされます。 別のインストール方法を利用する場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0 をインストールしてください。

   Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

   デフォルトでは、本製品はデータソースとPLAINTEXT で通信し、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化するには：

   1. UseSSL をtrue に設定し、本製品がSSL 暗号化を使用するように構成します。
   2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします。

   Apache Kafka への認証

   Apache Kafka データソースは、次の認証メソッドをサポートしています：
   • Anonymous
   • Plain
   • SCRAM ログインモジュール
   • SSL クライアント証明書
   • Kerberos

   Anonymous

   Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 こうした接続はanonymous（匿名）と呼ばれます。

   匿名認証を行うには、このプロパティを設定します。

   • AuthScheme：None。

   その他の認証方法については、ヘルプドキュメントを参照してください。

4. 「 Test Database」をクリックします。
5. ［Permission］->［ Add］とクリックし、適切な権限を持つ新しいユーザー（または既存のユーザー）を追加します。（Reveal に必要なのは、SELECT のみです。）

Connect Server にKafka OData エンドポイントを追加

Kafka に接続したら、目的のテーブルのOData エンドポイントを作成します。

1. ［OData］->［Tables］->［Add Tables］とクリックします。
2. Kafka のデータベースを選択します。
3. 使用するテーブルを選択し、［Next］をクリックします。
4. （オプション）リソースを編集して特定のフィールドなどを選択します。
5. 設定を保存します。

（オプション）Cross-Origin Resource Sharing (CORS) を構成

Ajax などのアプリケーションから複数のドメインにアクセスして接続すると、クロスサイトスクリプティングの制限に違反する恐れがあります。その場合には、［OData］->［Settings］でCORS 設定を構成します。

• Enable cross-origin resource sharing (CORS):ON
• Allow all domains without '*':ON
• Access-Control-Allow-Methods:GET, PUT, POST, OPTIONS
• Access-Control-Allow-Headers:Authorization

設定への変更を保存します。

Kafka のデータからQlik Sense アプリケーションを作成

Kafka への接続と構成されたOData エンドポイントがあれば、Kafka のデータを追加してQlik Sense でビジュアライズ、分析、レポートなどを行うことができます。

新しいアプリケーションの作成とデータのアップロード

1. Qlik Sense インスタンスにログインし、ボタンをクリックして新しいアプリケーション新しいアプリケーションを作成します。
2. 新しいアプリケーションに名前を付けて構成し、「Create」をクリックします。
3. ワークスペース内で、新しいアプリケーションをクリックして開きます。
4. クリックして、ファイルやその他のソースからデータを追加します。
5. REST コネクタを選択し、構成プロパティを設定します。次の箇所以外では、ほとんどの箇所でデフォルト値を使用します。
   • URL：これをKafka テーブルのAPI エンドポイントに設定します。@CSV URL パラメーターを使用することで、CSV レスポンスを確実に取得できます。（例： https://www.cdatacloud.net/api.rsc/ApacheKafka_SampleTable_1?@CSV）
   • Authentication Schema：「BASIC」に設定します。
   • User Name：上記で構成したユーザー名に設定します。
   • Password：上記のユーザー用の認証トークンに設定します。
6. 「Create」をクリックしてKafka のデータのConnect Server をクエリします。
7. 「CSV has header」をチェックし、「Tables」で「CSV_source」を選択します。
8. カラムを選択し、「Add data」をクリックします。

洞察の生成またはアプリのカスタマイズ

データがQlik Sense にロードされたので、洞察を引き出すことができます。「Generate insights」をクリックすると、Qlik がデータを分析します。もしくは、Kafka のデータを使用してカスタムのビジュアライゼーション、レポート、ダッシュボードを作成できます。

詳細と無料トライアル

これで、リアルタイムKafka のデータから簡単で強力なダッシュボードが作成されました。Kafka（および250 以外のデータソース）のOData フィードを作成する方法の詳細については、Connect Server ページにアクセスしてください。無料トライアルにサインアップして、Qlik Sense Cloud でリアルタイムKafka のデータの操作を開始します。