Kafka ODBC データソースとの間にInformatica マッピングを作成

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

Informatica はデータを転送、変換するための強力で洗練された手段です。CData ODBC Driver for ApacheKafka は、Informatica の強力なデータ転送・変換機能とシームレスに連携可能な、業界で実証済みの標準ドライバです。このチュートリアルでは、Informatica PowerCenter でKafka のデータを転送および参照する方法を説明します。

CData ODBC ドライバとは？

CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。

1. Kafka をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
2. 多様なアプリケーション、ツールにKafka のデータを連携
3. ノーコードでの手軽な接続設定
4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてKafka の接続を設定、2.Informatica 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとKafka への接続設定

まずは、本記事右側のサイドバーからApacheKafka ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

Kafka への接続に関する情報と、Windows およびLinux 環境でのDSN の設定手順を以下で説明します。

Apache Kafka 接続プロパティの取得・設定方法

.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされ、自動的に本製品と一緒にインストールされます。 別のインストール方法を利用する場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0 をインストールしてください。

Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

デフォルトでは、本製品はデータソースとPLAINTEXT で通信し、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化するには：

1. UseSSL をtrue に設定し、本製品がSSL 暗号化を使用するように構成します。
2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします。

Apache Kafka への認証

• Anonymous
• Plain
• SCRAM ログインモジュール
• SSL クライアント証明書
• Kerberos

Anonymous

Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 こうした接続はanonymous（匿名）と呼ばれます。

匿名認証を行うには、このプロパティを設定します。

• AuthScheme：None。

その他の認証方法については、ヘルプドキュメントを参照してください。

Windows

接続プロパティが未設定の場合は、まずODBC DSN（データソース名）で設定します。ドライバーのインストールの最後にアドミニストレーターが開きます。Microsoft ODBC データソースアドミニストレーターを使ってODBC DSN を作成および設定できます。

Linux

CData ODBC Driver for ApacheKafka をLinux 環境にインストールする場合、ドライバーのインストールによってDSN が事前に定義されます。DSN を変更するには、システムデータソースファイル（/etc/odbc.ini）を編集し、必要な接続プロパティを定義します。

/etc/odbc.ini

これらの構成ファイルの使用方法については、オンラインのヘルプドキュメントを参照してください。

SampleTable_1 データへのリンクテーブルを作成する

「オブジェクトエクスプローラー」からリンクテーブルを作成してライブSampleTable_1 データにアクセスする方法は、次のとおりです。

ODBC 接続を作成する

下記の手順に従って、Informatica PowerCenter のKafka に接続します。

1. Informatica Developer ツールで、リポジトリに接続してプロジェクトを作成しておきます。
2. 「Connection Explorer」ペインで右クリックし、「Create a Connection」をクリックします。
3. 「New Database Connection」ウィザードが表示されたら、接続に名前とID を入力し、「Type」メニューで「ODBC」を選択します。
4. 「Connection String」プロパティにjdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic; を入力します。

注意：Linux オペレーティングシステムで作業している場合は、「Driver Manager for Linux」プロパティをunixODBC 2.3.x に設定します。

Kafka のデータオブジェクトを作成する

Kafka へのODBC 接続を作成したら、Informatica でKafka エンティティにアクセスできるようになります。下記の手順に従って、SampleTable_1 エンティティをプロジェクトに追加します。

1. 「Object Explorer」でプロジェクトを右クリックし、「New」->「Data Object」をクリックします。
2. ウィザードが表示されたら「Relational Data Object」オプションを選択します。
3. 「Connection」ボックス横にある「Browse」ボタンをクリックし、先に作成したODBC 接続を選択します。
4. 既存のリソースからデータオブジェクトを作成するオプションを選択し、「Resource」ボックス横にある「Browse」ボタンをクリックします。
5. ダイアログが表示されたら、「Show Default Schema Only」オプションの選択を解除してODBC 接続のノードを展開します。必要なエンティティを選択します。

これで、Data Viewer でテーブルをブラウズできます。テーブル用ノードを右クリックし「Open」をクリックします。「Data Viewer」ビューで「Run」をクリックします。

マッピングを作成する

下記の手順に従って、Kafka ソースをマッピングに追加します。

1. 「Object Explorer」でプロジェクトを右クリックし、「New」->「Mapping」をクリックします。
2. Kafka 接続のノードを展開してから、テーブル用のデータオブジェクトをエディタ上にドラッグします。
3. ダイアログが表示されたら「Read」オプションを選択します。

以下のステップに従って、Kafka カラムをフラットファイルにマッピングします。

1. 「Object Explorer」でプロジェクトを右クリックし、「New」->「Data Object」をクリックします。
2. 「Flat File Data Object」->「Create as Empty」->「Fixed Width」と選択します。
3. Kafka オブジェクトのプロパティで目的の行を選択して右クリックし、コピーします。コピーした行をフラットファイルプロパティにペーストします。
4. フラットファイルのデータオブジェクトをマッピングにドラッグします。ダイアログが表示されたら「Write」オプションを選択します。
5. クリックおよびドラッグしてカラムを接続します。

Kafka のデータを転送するには、ワークスペース内で右クリックして「Run Mapping」をクリックします。

おわりに

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。