EAI/ETL技術者のブログ

  • クラウドサービスとのデータ連携を学ぶ
2021.03.30

AWSと連携したい-願いを簡単に叶えるDataSpider!

AWSと繋ぎたい、をカンタンに叶えるDataSpider!

こんにちは。DataSpiderサポート担当の佐々木です。

今回のテーマは【AWS × DataSpider】です。


AWSとは、(私が説明するまでもなく・・)

Amazonが提供するクラウドコンピューティングサービス(ウェブサービス)です。


一口にAWSと言っても、

● クラウド環境で仮想サーバを作成できるAmazon EC2
● クラウド環境でRDBを構成できるAmazon RDS
● 大量データを保存できるクラウドストレージサービスAmazon S3

など、多くのサービスが存在します。


AWSが提供するそれぞれのサービスに接続しようとすると、
例えばJavaやPHPなどのプログラミング言語の知識が必要になるので
CUIでの操作/開発が苦手という方は苦労すると思います。

対して、データ連携製品であるDataSpiderを使用すれば、

● AWS各サービスとノンプログラミングで連携可能
● GUI画面でAWS各サービスの接続設定や開発が可能
● オンプレミス環境やkintone/Salesforceなどの他クラウドサービスとシームレスに連携可能

というメリットが生まれます!



DataSpider AWSアダプタで連携できるサービスについて


「DataSpider AWSアダプタ」というのは総称です。

AWSの各種サービスと連携するためのアダプタをパックにしたもので、
主に次のようなアダプタを同梱しています。

  • Amazon Aurora for MySQL アダプタ
  • Amazon DynamoDB アダプタ
  • Amazon EC2 アダプタ
  • Amazon RDS アダプタ
  • Amazon Redshift アダプタ
  • Amazon S3 アダプタ
  • Amazon SimpleDB アダプタ
  • Amazon SQS アダプタ
  • 他にもAWS専用のトリガーやScriptRunner も存在します。

ライセンス的にはAWSアダプタさえあれば、これらの各種サービス用のアダプタを使えるというわけです。


現在提供されているAWSアダプタで全てのAWSサービスに連携できるわけではありませんが
バージョンが上がるごとにアダプタの数も増えてきています。


Amazon S3と繋げてみた


私はサポートセンターにて日々お客様からのお問い合わせにお答えする立場なのですが、
AWSアダプタに関するお問い合わせの中でも特に頻度が多い「Amazon S3アダプタ」について
実際に連携するイメージを含めてご紹介していきます。


Amazon S3とは?

Amazon S3とは、Amazon Simple Storage Serviceの略で
インターネット用のクラウドストレージサービスです。
画像やExcelなどのデータをファイルとして、バケットと呼ばれる「データの入れ物」 に保存していきます。


DataSpiderのAmazon S3アダプタとは?

Amazon S3アダプタは、Amazon S3のバケット一覧の取得や、ファイルのアップロード/ダウンロードなどの処理を行うことを可能にします。
以下はファイルのアップロード/ダウンロードの連携イメージ図です。


Amazon S3アダプタの利用手順

Amazon S3やAmazon S3アダプタについてざっくり確認できたところで、
次はいよいよAmazon S3アダプタの利用方法をご紹介します!


まず、DataSpiderから連携するAWSアカウントに、S3アダプタを使用する上で
必要なIAMアクセス権限を付与します。
IAMアクセス権限はグローバルリソースやアダプタ内の各アイコンによって必要となる権限があり、
詳細はヘルプに記載されています。
以下はヘルプの記載箇所です。



次に、DataSpider側のAmazon S3のグローバルリソースにてAWSアカウントのアクセスキーと
シークレットアクセスキーを設定します。
以下がグローバルリソースの画面で、赤枠が該当の設定箇所です。
(エンドポイントの設定は任意です。)



次にスクリプト上でAmazon S3からファイル/フォルダをローカル環境にダウンロードする
処理の設定を実施します。

Amazon S3からのダウンロードは[ファイル/フォルダ読み取り]アイコンを使用します。
以下はデザイナ上で設定完了した後のアイコンの画面です。
(バケットの名称はマスキングしています。)


上記にて、スクリプトを実行すると、バケット配下のファイル/フォルダをすべて取得し
DataSpiderのインストールディレクトリ内にある[server]フォルダ配下の[/data/aws]にダウンロードできます。

(アイコン内ではバケット内のファイル/フォルダ指定の際、ワイルドカードを指定できます。)


今回は、Amazon S3に接続してファイル/フォルダをすべてダウンロードする流れを紹介しましたが
その他にもローカル環境のファイル/フォルダをAmazon S3に複数アップロードする処理や
バケット名を一覧で取得する処理も実装できます。


今回ご紹介したAmazon S3アダプタの他にもまだまだたくさんあるアダプタたち。

それぞれのアダプタの設定方法などをまとめた資料を公開しています。
ぜひこちらもダウンロードしてみてください!


ゲオホールディングス社の事例をご紹介!


最後に、実際にAWSアダプタを活用されているゲオホールディングス社の事例をご紹介させていただきます。

ゲオホールディングス社では、リユース店舗の出店加速やオンラインサービス拡大に伴うデータ量の急増により
各種システムをAWSなどのクラウドに構築し、戦略的にクラウドを活用しています。
クラウド上に分散するデータを活用するために
各データソースからオンプレミスへのデータ連携ツールとしてDataSpiderを導入しています。

AWS上にある日次業績データ、ゲオアプリログなどをオンプレミス上のシステムと連携させています。

【連携イメージ】


このブログを見て、DataSpiderのAWSアダプタに興味を持っていただけましたら嬉しいです。

晴れてご購入となった暁には私が責任をもってサポートさせていただきます!(笑)


執筆者情報:

執筆者 佐々木啓

佐々木 啓 (ささき ひろむ)
東日本技術本部 情報基盤技術統括部

2012年に株式会社アシストへ新卒入社。DataSpiderとDMExpressのサポートを担当。

関連している記事

  • クラウドサービスとのデータ連携を学ぶ
2024.03.11

~iPaaSの新たな選択肢~HULFT Squareとは

アシストではHULFT Squareの取り扱いを開始しました!クラウド間のデータ連携も、クラウドとオンプレミス間の連携も、データ連携ならアシストにおまかせください!

  • クラウドサービスとのデータ連携を学ぶ
2023.06.16

Salesforce導入が決まった!Salesforceと既存システムとの連携はどうする?

Salesforceとその他周辺システムの連携について記載した記事です。

  • クラウドサービスとのデータ連携を学ぶ
2023.03.10

AWSをもっと活用していきたい!AWSと他システム・サービスとの連携で活用加速!

AWSと他システム・サービスとの連携についてご紹介いたします。

ページの先頭へ戻る