JSON のデータ のPostgreSQL インターフェースを作成

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

PostgreSQL には多くの対応クライアントがあります。標準のドライバーからBI、アナリティクスツールまで、PostgreSQL はデータ接続の人気のインターフェースです。JDBC ドライバーを使用することで、簡単に任意の標準クライアントから接続できるPostgreSQL エントリポイントを作成できます。

JSON にPostgreSQL データベースとしてアクセスするには、CData JDBC Driver for JSON とJDBC foreign data wrapper (FDW) を使用します。この記事ではFDW をコンパイルしてインストールし、PostgreSQL サーバーからJSON にクエリを実行します。

JDBC データソースとしてJSON のデータに接続する

JDBC データソースとしてJSON に接続するには、以下が必要です。

• Driver のJAR パス：JAR ファイルは、インストールディレクトリのlib サブフォルダにあります。

• Driver クラス

  cdata.jdbc.json.JSONDriver
• JDBC URL: URL は、"jdbc:json:" で始まり、セミコロンで区切られた名前と値の組み合わせで任意の接続プロパティを含めることができます。

  データソースへの認証については、ヘルプドキュメントの「はじめに」を参照してください。CData 製品は、JSON API を双方向データベーステーブルとして、JSON ファイルを読み取り専用ビュー（ローカル ファイル、一般的なクラウドサービスに保存されているファイル、FTP サーバー）としてモデル化します。HTTP Basic、Digest、NTLM、OAuth、FTP などの主要な認証スキームがサポートされています。詳細はヘルプドキュメントの「はじめに」を参照してください。

  URI を設定して認証値を入力したら、DataModel を設定してデータ表現とデータ構造をより厳密に一致させます。

  DataModel プロパティは、データをどのようにテーブルに表現するかを制御するプロパティで、次の基本設定を切り替えます。

  • Document（デフォルト）：JSON データのトップレベルのドキュメントビューをモデル化します。CData 製品 は、ネストされたオブジェクト配列を集約されたJSON オブジェクトとして返します。
  • FlattenedDocuments：ネストされた配列オブジェクトと親オブジェクトを、単一テーブルに暗黙的に結合します。
  • Relational：階層データから個々の関連テーブルを返します。テーブルには、親ドキュメントにリンクする主キーと外部キーが含まれています。

  リレーショナル表現の設定についての詳細は、ヘルプドキュメントの「JSON データのモデリング」を参照してください。また、以下の例で使用されているサンプルデータも確認できます。データには人や所有する車、それらの車に行われたさまざまなメンテナンスサービスのエントリが含まれています。

  Amazon S3 内のJSON への接続

  URI をバケット内のJSON ドキュメントに設定します。さらに、次のプロパティを設定して認証します。

  • AWSAccessKey：AWS アクセスキー（username）に設定。
  • AWSSecretKey：AWS シークレットキーに設定。

  Box 内のJSON への接続

  URI をJSON ファイルへのパスに設定します。Box へ認証するには、OAuth 認証標準を使います。 認証方法については、Box への接続 を参照してください。

  Dropbox 内のJSON への接続

  URI をJSON ファイルへのパスに設定します。Dropbox へ認証するには、OAuth 認証標準を使います。 認証方法については、Dropbox への接続 を参照してください。ユーザーアカウントまたはサービスアカウントで認証できます。ユーザーアカウントフローでは、以下の接続文字列で示すように、ユーザー資格情報の接続プロパティを設定する必要はありません。 URI=dropbox://folder1/file.json; InitiateOAuth=GETANDREFRESH; OAuthClientId=oauthclientid1; OAuthClientSecret=oauthcliensecret1; CallbackUrl=http://localhost:12345;

  SharePoint Online SOAP 内のJSON への接続

  URI をJSON ファイルを含むドキュメントライブラリに設定します。認証するには、User、Password、およびStorageBaseURL を設定します。

  SharePoint Online REST 内のJSON への接続

  URI をJSON ファイルを含むドキュメントライブラリに設定します。StorageBaseURL は任意です。指定しない場合、ドライバーはルートドライブで動作します。 認証するには、OAuth 認証標準を使用します。

  FTP 内のJSON への接続

  URI をJSON ファイルへのパスが付いたサーバーのアドレスに設定します。認証するには、User およびPassword を設定します。

  Google Drive 内のJSON への接続

  デスクトップアプリケーションからのGoogle への認証には、InitiateOAuth をGETANDREFRESH に設定して、接続してください。詳細はドキュメントの「Google Drive への接続」を参照してください。

  ビルトイン接続文字列デザイナ

  JDBC URL の構成については、JSON JDBC Driver に組み込まれている接続文字列デザイナを使用できます。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

  java -jar cdata.jdbc.json.jar

  接続プロパティを入力し、接続文字列をクリップボードにコピーします。

  

  以下は一般的なJDBC URL です。

  jdbc:json:URI=C:/people.json;DataModel=Relational;

JDBC FDW を構築する

FDW は、PostgreSQL を再コンパイルせずに、PostgreSQL の拡張機能としてインストールできます。例としてjdbc2_fdw 拡張子を使用します。

1. ご使用のバージョンのJRE 共有オブジェクトから、/usr/lib/libjvm.so にシンボリックリンクを追加します。コマンド例： ln -s /usr/lib/jvm/java-6-openjdk/jre/lib/amd64/server/libjvm.so /usr/lib/libjvm.so
2. ビルドするには、以下のコマンドを実行してください。 make install USE_PGXS=1

JSON のデータをPostgreSQL データベースとしてクエリする

拡張機能をインストールした後、以下のステップに従ってJSON へのクエリの実行を開始します。

1. データベースにログイン
2. データベースの拡張機能をロード CREATE EXTENSION jdbc2_fdw;
3. JSON のオブジェクトを作成 CREATE SERVER JSON FOREIGN DATA WRAPPER jdbc2_fdw OPTIONS ( drivername 'cdata.jdbc.json.JSONDriver', url 'jdbc:json:URI=C:/people.json;DataModel=Relational;', querytimeout '15', jarfile '/home/MyUser/CData/CData\ JDBC\ Driver\ for\ Salesforce MyDriverEdition/lib/cdata.jdbc.json.jar');
4. PostgreSQL デーモンに認識されているユーザーのユーザー名とパスワードのユーザーマッピングを作成 CREATE USER MAPPING for postgres SERVER JSON OPTIONS ( username 'admin', password 'test');
5. ローカルデータベースに外部テーブルを作成 postgres=# CREATE FOREIGN TABLE people ( people_id text, people_[ personal.name.first ] text, people_[ personal.name.last ] numeric) SERVER JSON OPTIONS ( table_name 'people');

おわりに

このようにCData JDBC Driver for JSON を使って簡単にJSON のデータを取得して検索対象にすることができました。ぜひ、30日の無償評価版 をお試しください。