各製品の資料を入手。
詳細はこちら →
製品をチェック
SQLAlchemy ORM を使って、Python でAzure Data Catalog のデータに連携する方法
CData Python Connector を使って、Python アプリケーションおよびスクリプトからSQLAlchemy 経由でAzure Data Catalog にOR マッピング可能に。
最終更新日：2023-09-23
この記事で実現できるAzure Data Catalog 連携のシナリオ
こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
Pythonエコシステムには、多くのモジュールがあり、システム構築を素早く効率的に行うことができます。CData Python Connector for AzureDataCatalog は、pandas、Matplotlib モジュール、SQLAlchemy ツールキットから使用することで Azure Data Catalog にデータ連携するPython アプリケーションを構築し、Azure Data Catalog のデータを可視化できます。 本記事では、SQLAlchemy でAzure Data Catalog に連携して、データを取得、 する方法を説明します。
CData Python Connectors の特徴
CData Python Connectors は、以下のような特徴を持った製品です。
- Azure Data Catalog をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレデータソースに対応
- Python をはじめとする多様なデータ分析・BI ツールにAzure Data Catalog のデータを連携
- ノーコードでの手軽な接続設定
CData Python Connectors では、1.データソースとしてAzure Data Catalog の接続を設定、2.Python からPython Connectors との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。
必要なモジュールのインストール
pip でSQLAlchemy ツールキットをインストールします：
pip install sqlalchemy
モジュールのインポートを忘れずに行います：
import sqlalchemy
Python でAzure Data Catalog のデータをモデル化
次は、接続文字列で接続を確立します。create_engine 関数を使って、Azure Data Catalog のデータに連携するEngne を作成します。
engine = create_engine("azuredatacatalog///?InitiateOAuth=GETANDREFRESH&OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")
Azure Data Catalog 接続プロパティの取得・設定方法
OAuth 認証で接続
Azure Data Catalog の認証にはOAuth を使用します。CData 製品では組込みOAuth が利用できるので、接続プロパティを設定することなく接続を試行するだけで、ブラウザ経由でAAS に認証できます。詳しい設定方法については、ヘルプドキュメントの「Azure Data Catalog への認証」セクションを参照してください。
設定は任意ですが、CatalogName プロパティを設定することでAzure Data Catalog から返されるカタログデータを明示的に指定できます。
CatalogName：Azure Data Catalog に紐づいているカタログ名に設定。空のままにすると、デフォルトのカタログが使用されます。カタログ名は、「Azure Portal」->「データカタログ」->「カタログ名」から取得できます。
Azure Data Catalog のデータのマッピングクラスの宣言
接続を確立したら、OR マッパーでモデル化するテーブルのマッピングクラスを宣言します。本記事では、Tables テーブルを使います。sqlalchemy.ext.declarative.declarative_base 関数を使って、新しいクラスにフィールド（カラム）を定義します。
base = declarative_base() class Tables(base): __tablename__ = "Tables" DslAddressDatabase = Column(String,primary_key=True) Type = Column(String) ...
Azure Data Catalog のデータをクエリ
マッピングクラスができたので、セッションオブジェクトを使ってデータソースをクエリすることができます。セッションにEngine をバインドして、セッションのquery メソッドにマッピングクラスを提供します。
query メソッドを使う
engine = create_engine("azuredatacatalog///?InitiateOAuth=GETANDREFRESH&OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")
factory = sessionmaker(bind=engine)
session = factory()
for instance in session.query(Tables).filter_by(Name="FactProductInventory"):
print("DslAddressDatabase: ", instance.DslAddressDatabase)
print("Type: ", instance.Type)
print("---------")
ほかの方法としては、execute メソッドを適切なテーブルオブジェクトに使うことが可能です。以下のコードはアクティブなsession に対して有効です。
execute メソッドを使う
Tables_table = Tables.metadata.tables["Tables"]
for instance in session.execute(Tables_table.select().where(Tables_table.c.Name == "FactProductInventory")):
print("DslAddressDatabase: ", instance.DslAddressDatabase)
print("Type: ", instance.Type)
print("---------")
より複雑なクエリとして、JOIN、集計、Limit などが利用可能です。詳細はヘルプドキュメントをご覧ください。
Azure Data Catalog からPython へのデータ連携には、ぜひCData Python Connector をご利用ください
このようにCData Python Connector と併用することで、270を超えるSaaS、NoSQL データをPython からコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。
日本のユーザー向けにCData Python Connector は、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。
関連コンテンツ
