各製品の資料を入手。
詳細はこちら →
製品をチェック
Python でAccess のデータを変換・出力するETL 処理を作る方法
CData Python Connector とpetl モジュールを使って、Access のデータを変換後にCSV ファイルに吐き出すETL 処理を実装します。
最終更新日：2023-09-23
この記事で実現できるAccess 連携のシナリオ
こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
Pythonエコシステムには多くのモジュールがあり、システム構築を素早く効率的に行うことができます。本記事では、CData Python Connector for Access とpetl フレームワークを使って、Access のデータにPython から接続してデータを変換、CSV に出力するETL 変換を実装してみます。
CData Python Connector は効率的なデータ処理によりAccess のデータ にPython から接続し、高いパフォーマンスを発揮します。Access にデータをクエリする際、ドライバーはフィルタリング、集計などがサポートされている場合SQL 処理を直接Access 側に行わせ、サポートされていないSQL 処理については、組み込みのSQL エンジンによりクライアント側で処理を行います（JOIN やSQL 関数など）。
必要なモジュールのインストール
pip で必要なモジュールおよびフレームワークをインストールします：
pip install petl pip install pandas
Python でAccess のデータをETL 処理するアプリを構築
モジュールとフレームワークをインストールしたら、ETL アプリケーションを組んでいきます。コードのスニペットは以下の通りです。フルコードは記事の末尾に付いています。
CData Connector を含むモジュールをインポートします。
import petl as etl import pandas as pd import cdata.access as mod
接続文字列で接続を確立します。connect 関数を使って、CData Access Connector からAccess への接続を行います
cnxn = mod.connect("DataSource=C:/MyDB.accdb;")
Access接続の設定方法
ローカルファイルへの接続設定
ローカル環境からAccess への接続は非常にシンプルです。ConnectionType をLocal に設定することで、CRUD 操作（SELECT、INSERT、UPDATE、DELETE）をすべて実行できます。接続にはDataSource プロパティに以下のようなAcces sデータベースファイルのフルパスを指定します。
C:\Users\Public\Documents\MyDatabase.accdb
詳細な接続手順については、ヘルプドキュメントの「はじめに」セクションをご参照ください。
クラウドストレージ上のAccess ファイルへの接続設定
各種クラウドストレージに保存されているAccess ファイルへのアクセスにも対応しています。ただし、クラウド上のファイルに対するデータ操作は、INSERT、UPDATE、DELETE に制限されますのでご注意ください。
S3、Google Driver、OneDrive など、各種クラウドストレージ内のAccess ファイルへの接続方法はこちらの記事をご確認ください。
クラウド上のファイルを更新したい場合は、以下の手順で実施いただけます。
- 対応するCData ドライバーを利用し、クラウドサービスからAccess ファイルをダウンロード
- Access ドライバーを使用して、ローカル環境でファイルを編集
- クラウドサービス用ドライバーのストアドプロシージャを使用して、更新ファイルをアップロード
具体例として、SharePoint 上のファイルを更新する場合の手順をご紹介します。
- CData SharePoint ドライバーのDownloadDocument プロシージャを使用してファイルを取得
- CData Access ドライバーでファイルの更新を実施
- SharePoint ドライバーのUploadDocument プロシージャで更新内容を反映
DataSource 接続プロパティの設定について補足いたします。接続先のクラウドストレージを識別するための一意の接頭辞を指定し、続けて目的のファイルパスまたはフォルダパスを記述します。フォルダを指定した場合は1ファイルが1テーブルとして、単一ファイルの場合は単一テーブルとして扱われます。
Access をクエリするSQL 文の作成
Access にはSQL でデータアクセスが可能です。Orders エンティティからのデータを読み出します。
sql = "SELECT OrderName, Freight FROM Orders WHERE ShipCity = 'New York'"
Access データ のETL 処理
DataFrame に格納されたクエリ結果を使って、petl でETL（抽出・変換・ロード）パイプラインを組みます。この例では、Access のデータ を取得して、Freight カラムでデータをソートして、CSV ファイルにデータをロードします。
table1 = etl.fromdb(cnxn,sql) table2 = etl.sort(table1,'Freight') etl.tocsv(table2,'orders_data.csv')
CData Python Connector for Access を使えば、データベースを扱う場合と同感覚で、Access のデータ を扱うことができ、petl のようなETL パッケージから直接データにアクセスが可能になります。
おわりに
Access Python Connector の30日の無償トライアル をぜひダウンロードして、Access のデータ への接続をPython アプリやスクリプトから簡単に作成しましょう。
フルソースコード
import petl as etl
import pandas as pd
import cdata.access as mod
cnxn = mod.connect("DataSource=C:/MyDB.accdb;")
sql = "SELECT OrderName, Freight FROM Orders WHERE ShipCity = 'New York'"
table1 = etl.fromdb(cnxn,sql)
table2 = etl.sort(table1,'Freight')
etl.tocsv(table2,'orders_data.csv')
関連コンテンツ
