Paxataブログ

  • ビッグデータ/分析のデータプレップ
2021.04.01

SalesforceやS3とのデータインポート/エクスポートもPaxataにお任せを!コネクター機能をご紹介


Paxata は様々なデータをPaxata上で加工し複数のデータを組み合わせて加工結果を出力できる機能を持っています。しかし、加工したいデータがPaxata上に登録されていなくては加工を進めることはできません。また、加工後のデータもPaxataから外部へ出力しなくては、データとして利用することができません。

Paxataでデータを入出力する方法は、それぞれ次の2つがあります。

今回は、このコネクターの機能について、ご紹介をします。

※本ブログ記事はPaxataのサブスクリプション版(コアライセンス)を対象としています。
Paxata Cloudではコネクターの機能はご提供しておりません。


コネクターとは

Paxata側で開発された、外部のデータソースに接続することが可能な機能を「コネクター」と呼んでいます。コネクターをPaxataに登録し、接続の定義を管理者が作成することで、作成されたコネクターを使って外部のデータソースからデータの取得が可能になります。


コネクターの種類

コネクターには大きく分けて、以下の種類があります。

ファイルシステム

S3、Azure Blob Storageなどのクラウドサービス、SFTP、HDFSなどのファイルシステム

データベース

Oracle、MS SQL ServerなどのRDBMS、Redshift、BigQueryなどのクラウド上のデータベース

Webアプリケーション

Salesforce、Marketなどのマーケティングサービス、REST API

分析ツール

Tableau Server、DataRobotなど

対応しているデータベース、サービスは以下をご確認下さい。
https://www.ashisuto.co.jp/paxata/product/product_on-premise/#anchor02


コネクターでできること

コネクターでできることは以下です。

データのインポート

コネクターを利用することで、接続先のデータソース(データベースやファイルシステムなど)からデータの取得(インポート)が可能です。データベースであればテーブルやビュー、SQLを直接記述してクエリーを発行することが可能です。
ファイルシステムであれば、接続先のファイルシステムのフォルダ階層を参照し、ファイルの選択やワイルドカードでファイルを指定することで1つのデータにまとめてファイルをインポートすることが可能です。

データのエクスポート

Paxata上で作成された加工後のデータを出力することが可能です。
データベースであればテーブルへ、ファイルシステムであれば指定されたファイル形式でデータを出力(エクスポート)します。
分析ツールによっては、このデータの出力のみが可能です。例えばTableauの場合、Paxata上で作成されたデータをTableau Serverに対してTDEもしくはHyperの形式で出力することが可能です。

プロジェクトフローとの連動

こちらのブログ でPaxata上のスケジュール実行機能としてプロジェクトフローのご紹介をしています。コネクターを利用することで、データの取得からデータの出力まで、プロジェクトフローを実行することで定期的な実行が可能になります。


コネクターの利用シーン

上記の通り、データのインポートとエクスポートの機能を提供するのがコネクターの機能です。コネクターが利用できることで、以下のような使い方が考えられます。

ユースケース1

AWS S3にAWS Glueなどのデータ連携ツールを使って収集されたデータを定期的に格納し、Paxata上で必要な加工を行った結果をRedshiftやRDSといった分析用DWHに格納します。
Paxataのプロジェクト上では元データによらずデータを組み合わせた加工が可能ですので、S3、データベース、ローカルファイルを組み合わせたデータをDBに格納することが可能です。


ユースケース2

Tableauなどの分析用ダッシュボードを作成するために、データウェアハウスやデータマートの構築依頼をして作成されたテーブルにTableauから接続する運用をされている方もいらっしゃると思います。この運用も有用な方法ですが、Tableauのユーザー側で画面要件への変更の要望によるデータレイアウトの見直し依頼がしばしば発生する場合、テーブルの再構築が必要になります。PaxataをデータベースとTableauの間に入れることで、Tableauの開発者側で分析用のデータを加工する定義をPaxata上で作ることが可能ですので、データベースから定期的にPaxataへデータを取得し、加工結果をTableau ServerへTableau形式のファイルとして送付するまでのサイクルを簡略化することが可能になります。


コネクターの管理

ユースケースでご紹介した使い方は、インポートやエクスポートを実施するPaxataの利用者側にある程度データベース側や出力先のシステム側の運用が理解できている必要がありますので、すべてのユーザーに機能提供するにはハードルが高い部分もあります。Paxata側ではコネクターの利用に関してもPaxata上で権限として付与することで、どのコネクターにどのユーザーがアクセスできるかを管理することが可能です。


以上、簡単にですがコネクターの機能をご紹介しました。
Paxataで提供されているコネクターに対応したサービスからデータの取得や格納を定期的に行われている場合には、データの取得、加工、格納までの処理はコネクターとプロジェクトフローを組み合わせることで自動化できるかもしれません。


データプレパレーション活用事例集

機械学習やデジタルマーケティングなどの先進分野へのチャレンジから、業務オペレーションの改革まで、幅広い取り組みをされている11社の事例をご紹介しています。

ぜひダウンロードしてご活用ください!




この記事をかいた人

山口 晃司

BI製品のサポート、フィールドエンジニアを経てPaxataのフィールドエンジニアを担当。

山口さん

関連している記事

  • ビッグデータ/分析のデータプレップ
2020.10.16

アンケート集計(分析)のためのデータ準備をやってみた

アンケートデータの集計から分析を効率化するデータプレップの手順をご紹介します!

  • ビッグデータ/分析のデータプレップ
2020.04.23

アシストのQlik技術者80名に聞きました!Qlik SenseやQlikViewでつまずきやすいデータの課題とは?

Qlik SenseやQlikViewを導入されているお客様から、「分析データの事前準備」についてご相談を受けることが増えてきました。たとえば、ロードスクリプトやデータマネージャでのデータ作成についての課題です。

  • ビッグデータ/分析のデータプレップ
2020.02.04

オープンデータを活用しよう!REST APIを使ってデータ取得と更新を自動化

今回の記事では、オープンデータをREST API経由で取得して、そのまま加工整形し、かつその作業を自動化する方法をご紹介します。一連の流れは、データプレパレーション製品の「Paxata(パクサタ)」を使用していきます。

ページの先頭へ戻る