
- クラウドサービスとのデータ連携
HULFTのファイル転送先システムがSaaSになったらどうする?~HULFT Squareを活用した解決策と事例のご紹介~
この記事では、SaaSとオンプレミス間のファイル転送を実現するHULFT Squareについて紹介します。
|
こんにちは。DataSpiderサポート担当の佐々木です。
今回のテーマは【AWS × DataSpider】です。
AWSとは、(私が説明するまでもなく・・)
Amazonが提供するクラウドコンピューティングサービス(ウェブサービス)です。
一口にAWSと言っても、
● クラウド環境で仮想サーバを作成できるAmazon EC2
● クラウド環境でRDBを構成できるAmazon RDS
● 大量データを保存できるクラウドストレージサービスAmazon S3
など、多くのサービスが存在します。
AWSが提供するそれぞれのサービスに接続しようとすると、
例えばJavaやPHPなどのプログラミング言語の知識が必要になるので
CUIでの操作/開発が苦手という方は苦労すると思います。
対して、データ連携製品であるDataSpiderを使用すれば、
● AWS各サービスとノンプログラミングで連携可能
● GUI画面でAWS各サービスの接続設定や開発が可能
● オンプレミス環境やkintone/Salesforceなどの他クラウドサービスとシームレスに連携可能
というメリットが生まれます!
「DataSpider AWSアダプタ」というのは総称です。
AWSの各種サービスと連携するためのアダプタをパックにしたもので、
主に次のようなアダプタを同梱しています。
ライセンス的にはAWSアダプタさえあれば、これらの各種サービス用のアダプタを使えるというわけです。
現在提供されているAWSアダプタで全てのAWSサービスに連携できるわけではありませんが
バージョンが上がるごとにアダプタの数も増えてきています。
私はサポートセンターにて日々お客様からのお問い合わせにお答えする立場なのですが、
AWSアダプタに関するお問い合わせの中でも特に頻度が多い「Amazon S3アダプタ」について
実際に連携するイメージを含めてご紹介していきます。
Amazon S3とは?
Amazon S3とは、Amazon Simple Storage Serviceの略で
インターネット用のクラウドストレージサービスです。
画像やExcelなどのデータをファイルとして、バケットと呼ばれる「データの入れ物」 に保存していきます。
DataSpiderのAmazon S3アダプタとは?
Amazon S3アダプタは、Amazon S3のバケット一覧の取得や、ファイルのアップロード/ダウンロードなどの処理を行うことを可能にします。
以下はファイルのアップロード/ダウンロードの連携イメージ図です。
|
Amazon S3アダプタの利用手順
Amazon S3やAmazon S3アダプタについてざっくり確認できたところで、
次はいよいよAmazon S3アダプタの利用方法をご紹介します!
まず、DataSpiderから連携するAWSアカウントに、S3アダプタを使用する上で
必要なIAMアクセス権限を付与します。
IAMアクセス権限はグローバルリソースやアダプタ内の各アイコンによって必要となる権限があり、
詳細はヘルプに記載されています。
以下はヘルプの記載箇所です。
|
次に、DataSpider側のAmazon S3のグローバルリソースにてAWSアカウントのアクセスキーと
シークレットアクセスキーを設定します。
以下がグローバルリソースの画面で、赤枠が該当の設定箇所です。
(エンドポイントの設定は任意です。)
|
次にスクリプト上でAmazon S3からファイル/フォルダをローカル環境にダウンロードする
処理の設定を実施します。
Amazon S3からのダウンロードは[ファイル/フォルダ読み取り]アイコンを使用します。
以下はデザイナ上で設定完了した後のアイコンの画面です。
(バケットの名称はマスキングしています。)
|
上記にて、スクリプトを実行すると、バケット配下のファイル/フォルダをすべて取得し
DataSpiderのインストールディレクトリ内にある[server]フォルダ配下の[/data/aws]にダウンロードできます。
(アイコン内ではバケット内のファイル/フォルダ指定の際、ワイルドカードを指定できます。)
今回は、Amazon S3に接続してファイル/フォルダをすべてダウンロードする流れを紹介しましたが
その他にもローカル環境のファイル/フォルダをAmazon S3に複数アップロードする処理や
バケット名を一覧で取得する処理も実装できます。
今回ご紹介したAmazon S3アダプタの他にもまだまだたくさんあるアダプタたち。
それぞれのアダプタの設定方法などをまとめた資料を公開しています。
ぜひこちらもダウンロードしてみてください!
最後に、実際にAWSアダプタを活用されているゲオホールディングス社の事例をご紹介させていただきます。
ゲオホールディングス社では、リユース店舗の出店加速やオンラインサービス拡大に伴うデータ量の急増により
各種システムをAWSなどのクラウドに構築し、戦略的にクラウドを活用しています。
クラウド上に分散するデータを活用するために
各データソースからオンプレミスへのデータ連携ツールとしてDataSpiderを導入しています。
AWS上にある日次業績データ、ゲオアプリログなどをオンプレミス上のシステムと連携させています。
このブログを見て、DataSpiderのAWSアダプタに興味を持っていただけましたら嬉しいです。
晴れてご購入となった暁には私が責任をもってサポートさせていただきます!(笑)
![]() |
---|
佐々木 啓 (ささき ひろむ)
東日本技術本部 情報基盤技術統括部
2012年に株式会社アシストへ新卒入社。DataSpiderとDMExpressのサポートを担当。
この記事では、SaaSとオンプレミス間のファイル転送を実現するHULFT Squareについて紹介します。
クラウド全盛期のいま、WebAPIは欠かせない存在です。「WebAPIって一体なに?」「RESTとSOAPの違いはなに?」「活用方法は?」などをわかりやすく解説した資料です。
クラウドサービスとのデータ連携処理開発において押さえておきたい「Web API」や「REST API」をテーマにしたおすすめブログ記事をご紹介!