各製品の資料を入手。
詳細はこちら →
Azure Data Factory を使用してHive のデータをインポート
CData Connect Cloud を使用してAzure Data Factory からHive に接続し、リアルタイムHive のデータをインポートします。
最終更新日：2022-12-01
この記事で実現できるHive 連携のシナリオ
こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。
Azure Data Factory（ADF）は、フルマネージドのサーバーレスデータ統合サービスです。 CData Connect Cloud と組み合わせると、ADF はデータフローでHive のデータにクラウドベースで即座にアクセスできます。 この記事では、Connect Cloud を使用してHive に接続し、ADF でHive のデータにアクセスする方法を紹介します。
CData Connect Cloud とは？
CData Connect Cloud は、以下のような特徴を持ったクラウド型のリアルタイムデータ連携製品です。
- SaaS やクラウドデータベースを中心とする150種類以上のデータソース
- BI、アナリティクス、ETL、ローコードツールなど30種類以上のツールやアプリケーションから利用可能
- リアルタイムのデータ接続に対応。データの複製を作る必要はありません
- ノーコードでシンプルな設定
詳しくは、こちらの製品資料をご確認ください。
Connect Cloud アカウントの取得
以下のステップを実行するには、CData Connect Cloud のアカウントが必要になります。こちらから製品の詳しい情報とアカウント作成、30日間無償トライアルのご利用を開始できますので、ぜひご利用ください。
Connect Cloud からHive への接続
CData Connect Cloud では、直感的なクリック操作ベースのインターフェースを使ってデータソースに接続できます。
- Connect Cloud にログインし、 Add Connection をクリックします。
- Add Connection パネルで「Hive」を選択します。
-
必要な認証プロパティを入力し、Hive に接続します。
Apache Hive への接続を確立するには以下を指定します。
- Server：HiveServer2 をホストするサーバーのホスト名またはIP アドレスに設定。
- Port：HiveServer2 インスタンスへの接続用のポートに設定。
- TransportMode：Hive サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
- AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
- CData 製品においてTLS/SSL を有効化するには、UseSSL をTrue に設定します
- Create & Test をクリックします。
-
Add Hive Connection ページのPermissions タブに移動し、ユーザーベースのアクセス許可を更新します。
パーソナルアクセストークンの取得
OAuth 認証をサポートしていないサービス、アプリケーション、プラットフォーム、またはフレームワークから接続する場合は、認証に使用するパーソナルアクセストークン（PAT）を作成できます。 きめ細かなアクセス管理を行うために、サービスごとに個別のPAT を作成するのがベストプラクティスです。
- Connect Cloud アプリの右上にあるユーザー名をクリックし、「User Profile」をクリックします。
- User Profile ページでPersonal Access Token セクションにスクロールし、 Create PAT をクリックします。
- PAT の名前を入力して Create をクリックします。
- パーソナルアクセストークンは作成時にしか表示されないため、必ずコピーして安全に保存してください。
接続設定が完了すると、Azure Data Factory からHive のデータへ接続できるようになります。
Azure Data Factory からリアルタイムHive のデータにアクセス
Azure Data Factory からCData Connect Cloud の仮想SQL Server API への接続を確立するには、以下の手順を実行します。
- Azure Data Factory にログインします。
- まだData Factory を作成していない場合は、「New -> Dataset」をクリックします。
- 検索バーにSQL Server と入力し、表示されたら選択します。次の画面で、サーバーの名前を入力します。 Linked service フィールドで「New」を選択します。
-
接続設定を入力します。
- Name - 任意の名前を入力。
- Server name - 仮想SQL Server のエンドポイントとポートをカンマで区切って入力。例：tds.cdata.com,14333
- Database name - 接続したいCData Connect Cloud データソースのConnection Name を入力。例：ApacheHive1
- User Name - CData Connect Cloud のユーザー名を入力。ユーザー名はCData Connect Cloud のインターフェースの右上に表示されています。 例：test@cdata.com
- Password - Password（Azure Key Vault ではありません）を選択してSettings ページで生成したPAT を入力。
- 「Create」をクリックします。
- Set properties で、Name を設定し、続けて先ほど作成したLinked service、利用可能なTable name、Import schema のfrom connection/store を選択します。 「OK」をクリックします。
- リンクされたサービスを作成すると、以下の画面が表示されます。
- Preview data をクリックすると、インポートされたHive テーブルが表示されます。
Azure Data Factory でデータフローを作成する際、このデータセットを使用できるようになりました。
CData Connect Cloud の入手
CData Connect Cloud の30日間無償トライアルを利用して、クラウドアプリケーションから直接100を超えるSaaS、ビッグデータ、NoSQL データソースへのSQL アクセスをお試しください！
関連コンテンツ
