各製品の資料を入手。
詳細はこちら →Qlik Sense Cloud でSpark のデータを使ったアプリを作成
CData Connect Cloud を使用してSpark のOData API を作成し、Qlik Sense Cloud のリアルタイムSpark のデータからアプリを構築します。
最終更新日:2022-03-07
この記事で実現できるSpark 連携のシナリオ
こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
Qlik Sense Cloud を使用すると、データのビジュアライゼーションを作成および共有できます。CData Connect Cloud はSpark へのリアルタイム接続を提供するので、Qlik Sense Cloud をCData Connect Cloud と組み合わせることで、すべてのSaaS およびクラウドベースのビッグデータとNoSQL データソースへ、データを移行したり統合したりする必要なくクラウドベースで接続できます。Qlik Sense Cloud からConnect Cloud に接続するだけで、Spark のデータに瞬時にリアルタイムアクセスできます。
CData Connect Cloud とは?
CData Connect Cloud は、以下のような特徴を持ったクラウド型のリアルタイムデータ連携製品です。
- SaaS やクラウドデータベースを中心とする150種類以上のデータソース
- BI、アナリティクス、ETL、ローコードツールなど30種類以上のツールやアプリケーションから利用可能
- リアルタイムのデータ接続に対応。データの複製を作る必要はありません
- ノーコードでシンプルな設定
詳しくは、こちらの製品資料をご確認ください。
この記事では、2つの接続方法について説明します。
- Connect Cloud からSpark に接続する
- Qlik Sense Cloud からConnect Cloud に接続してモデルを作成し、シンプルなダッシュボードを構築する
Connect Cloud アカウントの取得
以下のステップを実行するには、CData Connect Cloud のアカウントが必要になります。こちらから製品の詳しい情報とアカウント作成、30日間無償トライアルのご利用を開始できますので、ぜひご利用ください。
Connect Cloud を構成する
INSERT TOOL HERE でSpark のデータを操作するには、Connect Cloud からSpark に接続し、コネクションにユーザーアクセスを提供してSpark のデータのOData エンドポイントを作成する必要があります。
(オプション)新しいConnect Cloud ユーザーの追加
必要であれば、Connect Cloud 経由でSpark に接続するユーザーを作成します。
- ユーザーページに移動し、 Invite Users をクリックします。
- 新しいユーザーのE メールアドレスを入力して、 Send to invite the user をクリックします。
- ユーザーページからユーザーを確認および編集できます。
パーソナルアクセストークンの追加
OAuth 認証をサポートしていないサービス、アプリケーション、プラットフォーム、またはフレームワークから接続する場合は、CData Connect Cloud OData サービス認証に使用するパーソナルアクセストークン(PAT)を作成できます。きめ細かなアクセス管理を行うために、サービスごとに個別のPAT を作成するのがベストプラクティスです。
- Connect Cloud アプリの右上にあるユーザー名をクリックし、User Profile をクリックします。
- User Profile ページでPersonal Access Token セクションにスクロールし、 Create PAT をクリックします。
- PAT の名前を入力して Create をクリックします。
- パーソナルアクセストークンは作成時にしか表示されないため、必ずコピーして安全に保存してください。
Connect Cloud からSpark に接続
CData Connect Cloud では、簡単なクリック操作ベースのインターフェースでデータソースに接続できます。
- Connect Cloud にログインし、 Add Connection をクリックします。
- Add Connection パネルから「Spark」を選択します。
-
必要な認証プロパティを入力し、Spark に接続します。
SparkSQL への接続
SparkSQL への接続を確立するには以下を指定します。
- Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
- Port:SparkSQL インスタンスへの接続用のポートに設定。
- TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
- AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
Databricks への接続
Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。
- Server:Databricks クラスターのサーバーのホスト名に設定。
- Port:443
- TransportMode:HTTP
- HTTPPath:Databricks クラスターのHTTP パスに設定。
- UseSSL:True
- AuthScheme:PLAIN
- User:'token' に設定。
- Password:パーソナルアクセストークンに設定(値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます)。
- Create & Test をクリックします。
- Edit Spark Connection ページのPermissions タブに移動し、ユーザーベースのアクセス許可を更新します。
接続が構成されたら、Qlik Sense Cloud からSpark に接続できるようになります。
Spark のデータからQlik Sense アプリケーションを作成する
このセクションではSpark のデータを追加してQlik Sense でビジュアライズ、分析、レポートなどを行う手順を紹介します。
新しいアプリケーションの作成とデータのアップロード
- Qlik Sense インスタンスにログインし、ボタンをクリックして新しいアプリケーションを作成します。
- 新しいアプリケーションに名前を付けて構成し、「Create」をクリックします。
- ワークスペースでクリックし、新しいアプリケーションを開きます。
- クリックして、ファイルやその他のデータソースからデータを追加します。
- Microsoft SQL Server コネクタを選択し、構成プロパティを設定します。
- Server をtds.cdata.com に設定します。
- Port を14333に設定します。
- Database を先ほど設定した接続の名称(例:SparkSQL1)に設定します。
- User name をCData Connect Cloud のユーザー名(例:user@mydomain.com)に設定します。
- Password を上記のユーザーのPAT に設定します。
- 接続のオーナーを選択します。
- 参照するSpark のエンティティ(テーブル)を選択します。
- Next をクリックし、画面を設定したら、Qlik Sense にデータをロードします。
インサイトの生成またはアプリのカスタマイズ
データがQlik Sense にロードされると、インスタンスが表示されます。Spark のデータの実用的な洞察を得るために設計されたカスタムのビジュアライゼーション、レポート、ダッシュボードを作成できます。

詳細と無償トライアル
これで、リアルタイムSpark のデータから簡単で強力なダッシュボードが作成されました。Spark(および100を超えるほかのデータソース)からのOData フィードの作成方法の詳細については、Connect Cloud ページにアクセスしてください。無償トライアルにサインアップして、Qlik Sense Cloud でリアルタイムSpark のデータの操作をお試しください。