各製品の資料を入手。
詳細はこちら →
製品をチェック
Informatica Enterprise Data Catalog にElasticsearch のデータを追加
CData JDBC Driver をInformatica Enterprise Data Catalog とともに用いて、データを分類・整理します。
最終更新日：2021-11-02
この記事で実現できるElasticsearch 連携のシナリオ
こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
Informatica は、データを転送・変換するための強力で立派な手段を提供します。CData JDBC Driver for Elasticsearch を利用することで、Informatica のEnterprise Data Catalog とシームレスに統合される、業界で実証済みの標準に基づくドライバーにアクセスできます。このチュートリアルでは、どんな環境でもElasticsearch のデータを分類・整理する方法を説明します。
JDBC ドライバーをロード
以下はJDBC ドライバーをロードする方法です。
- Informatica を実行しているホストにJDBC ドライバーをインストールします。この記事では、ドライバーがcdata.jdbc.elasticsearch.Elasticsearch Driver にインストールされていることを前提としています。
- JDBC インストールディレクトリに移動して、genericJDBC.zip と呼ばれ、ドライバーとそのライセンスファイルを含むzip ファイルを作成します。
- genericJDBC.zip ファイルをInformatica 内のCatalog Service ディレクトリに移動します。この記事では、ドライバーが/opt/informatica にインストールされていることを前提としています。 このフォルダでの作業には、root 権限が必要になるおそれがあるため、続行する前にroot に必ずsu または sudo を実行してください。
- カスタムデプロイメント構成を編集し、zip ファイルを解凍します。
- アドミニストレーションコンソールから、Catalog Service を更新します。
$ java -jar setup.jar
$ cd ~/cdata-jdbc-driver-for-elasticsearch/lib
$ zip genericJDBC.zip cdata.jdbc.elasticsearch.jar cdata.jdbc.elasticsearch.lic
# mv genericJDBC.zip /opt/informatica/services/CatalogService/ScannerBinaries
# cd /opt/informatica/services/CatalogService/ScannerBinaries/CustomDeployer/
# nano scannerDeployer.xml
既存のExecutionContextProperty ノードを解凍したら、このコンテンツを含む新しいExecutionContextProperty ノードを追加します。
<ExecutionContextProperty
isLocationProperty="true"
dependencyToUnpack="genericJDBC.zip">
<PropertyName>JDBCScanner_DriverLocation</PropertyName>
<PropertyValue>scanner_miti/genericJDBC/Drivers</PropertyValue>
</ExecutionContextProperty>
JDBC リソースの構成
以下の手順でJDBC リソースを構成します。
- Catalog のアドミニストレーターを開き、次のプロパティを持つ新しいJDBC リソースを追加します。
- Driver Class: cdata.jdbc.elasticsearch.ElasticsearchDriver
- URL:
jdbc.elasticsearch:Server=127.0.0.1;Port=9200;User=admin;Password=123456; - ユーザー名: user
- パスワード: password
- 少なくとも一つのソースメタデータスキャンを実行するようにメタデータオプションを構成します。このスキャンではドライバーを使用し、サービスを通じて使用できるテーブル、ビュー、ストアドプロシージャを判別します。
- Source Metadata: このオプションを有効にする。
- Catalog: これをマルチカタログデータソースの適切なカタログに設定します。もしくは、CData に設定します。
- Schema: これをマルチスキーマデータソースの適切なスキーマに設定します。もしくは、これをサービスの名前に設定します。（以下ではCouchbase）
- Case-sensitivity: 通常このオプションは無効にします。大文字と小文字が区別されるデータソースに対してのみ有効にしてください。
- Import stored procedures: テーブルとビューに加え、ストアドプロシージャディフィニションをインポートする場合は、これを有効にします。
- ドライバーの構成を完了し、オプションでカスタム属性とスキャナースケジュールを構成します。
- ［Monitoring］タブに移動し［Run］をクリックしてメタデータスキャンを実行します。データソースによっては、これに数分かかる場合があります。
Elasticsearch 接続プロパティの取得・設定方法
接続するには、Server およびPort 接続プロパティを設定します。 認証には、User とPassword プロパティ、PKI (public key infrastructure)、またはその両方を設定します。 PKI を使用するには、SSLClientCert、SSLClientCertType、SSLClientCertSubject、およびSSLClientCertPassword プロパティを設定します。
CData 製品は、認証とTLS/SSL 暗号化にX-Pack Security を使用しています。TLS/SSL で接続するには、Server 値に'https://' を接頭します。Note: PKI を 使用するためには、TLS/SSL およびクライアント認証はX-Pack 上で有効化されていなければなりません。
接続されると、X-Pack では、設定したリルムをベースにユーザー認証およびロールの許可が実施されます。
ビルトイン接続文字列デザイナ
JDBC URL の構成については、Elasticsearch JDBC Driver に組み込まれている接続文字列デザイナを使用してください。.jar ファイルのダブルクリック、またはコマンドラインから.jar ファイルを実行します。
java -jar cdata.jdbc.elasticsearch.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
JDBC URL を構成する際に、Max Rows プロパティを定めることも可能です。これによって戻される行数を制限するため、可視化・レポートのデザイン設計時のパフォーマンスを向上させるのに役立ちます。
以下は、一般的な追加の接続文字列プロパティです。
JDBC;MSTR_JDBC_JAR_FOLDER=PATH\TO\JAR\;DRIVER=cdata.jdbc.elasticsearch.ElasticsearchDriver;URL={jdbc:elasticsearch:Server=127.0.0.1;Port=9200;User=admin;Password=123456;};
使用しているドライバーに要求されなくても、ユーザー名とパスワードのプロパティは必須であることに注意してください。そのようなケースでは、代わりにプレスホルダー値を入力できます。
他のメタデータスキャナーは、必要に応じて有効にすることができます。
スキャンが完了すると、すべてのメタデータオブジェクトの概要が［Metadata Load job］のステータスとともに表示されます。エラーが発生した場合、［Log Location］リンクを開き、インフォマティカまたはドライバーから報告されたエラーを確認できます。
検出されたメタデータを検証
［Catalog Service］を開き、データソースから検出されたメタデータを表示します。メタデータスキャナーの構成時に選択したオプションによっては、定義したリソースのテーブル、ビュー、ストアドプロシージャの任意の組み合わせが表示される場合があります。
関連コンテンツ
