Database Support Blog

  • AWS
2023.09.12

AWSのデータ連携に役立つツールの選び方とは?初心者でもわかるポイント解説

AWS上でのデータ連携処理において、適切なツールの選択は重要です。しかし、数多くのツールが存在し、どれを選べば良いのか迷ってしまうこともありますよね。

そこで、本記事では初心者でも理解しやすいように、弊社で過去に作成されたデータ連携に関する基本的な記事をご紹介した上で、AWS上で利用可能なデータ連携ツールとしてDataSpider ServistaとAWS Glueを解説します。

AWS上でのデータ連携ツールの選び方を学ぶ第一歩として、ぜひ参考にしてください。


1.データ連携とは

弊社では、50年以上の活動の中で、データ連携に関するノウハウを多く蓄積してきました。ここでは、初心者でも理解しやすいように、基本的なデータ連携に関するブログ記事を抜粋してご紹介します。データ連携に関する知識を深めたい方は、ぜひ以下のサイトもご覧ください。


ブログ名 ブログの概要
データ連携とは? 基盤構築方法とツール選定のポイント ・データ連携基盤の実装手法の紹介
・データ連携ツールの選定ポイントの紹介
AWSをもっと活用していきたい!
AWSと他システム・サービスとの連携で活用加速!
AWSと既存システムを連携する際によくある課題とその解決ツールの紹介
業務自動化といえばRPA?EAI?その違いとは? ・RPAとEAIツールの違い
・RPAとEAIツールのユースケースについて
EAIとETL、その違いってそもそもなんでしょう? ・EAIとETLのユースケースについて
・EAI/ETLツールの選定方法

2.クラウド上で利用可能なデータ連携ツールの概要紹介

こちらでは、データ連携をクラウド上で実現するためのツールとしてよく利用される以下をご紹介します。
・DataSpider Servista
・AWS Glue


2-1.DataSpider Servistaとは


DataSpider Servistaは、ノンプログラミングで異なるシステムのデータやアプリケーションを連携するEAI(※1)ツールです。GUIでの開発や充実した運用管理機能により、連携処理の自動化を実現します。

DataSpider Servistaにはトリガー機能が充実しており、少量のデータを即時に処理する場合に適しています。例えばファイルの作成や更新、削除といったタイミングで自動的に処理を開始できるため、リアルタイム性の高いデータ処理を実現できます。

​オンプレからクラウドまで幅広いデータ連携を実現できるため、基幹系システムなどオンプレサーバーとデータ連携を行いたい場合にも多く利用されています。



  • 1.EAI・・・EAI(Enterprise Application Integration)とは、企業内の異なるシステム間でビジネスプロセスやデータを連携させるための仕組みや技術を指します。EAIはイベント駆動型の処理を得意とします。

AWSとDataSpiderの構成をご検討の方はこちら

DataSpider on AWSのサービス概要資料をダウンロードする
(AWSにDataSpiderを構築する流れとそのFAQ 等)


2-2.AWS Glueとは


AWS Glueは、Amazon Web Services(AWS)が提供するデータ統合のマネージド型サービスであり、データ連携やデータ変換を簡単に実現できます。GUI開発に加えて、プログラミング言語を使用してデータの抽出、変換、ロード(ETL(※2))プロセスを設計・実行することができます。

また、AWS Glueはサーバーレスアーキテクチャを採用しており、ユーザーがインフラストラクチャを管理する必要がないため、煩雑なサーバーの設定やスケーリングを心配することなく、大量のデータのまとめ処理を行うことができます。




  • 2.ETL・・・ETL(Extract、Transform、Load)とは、データ抽出(Extract)、データ変換(Transform)、データロード(Load)というデータ統合処理の各工程を表したものです。ETLはバッチ指向の処理を得意とします。

3.クラウド上でのデータ連携時の検討ポイント

AWSを含むクラウド上のデータ連携ツールとしてよく使われるDataSpider ServistaとAWS Glueの概要を簡単にご紹介しました。本章では、DataSpider ServistaとAWS Glueの特徴を解説していきます。
まずは、両サービスの検討ポイントのまとめから見ていきましょう。


3-1.検討ポイントのまとめ

項目 DataSpider Servista AWS Glue
設計時のポイント AWS上のインフラストラクチャの準備 ユーザー側でEC2の準備が必要 サーバーレスサービスであるため、準備は不要
料金体系 ・ソフトウェアライセンス方式(1年目のみ)+保守費用(2年目以降も発生)
・EC2の利用料金
ETL ジョブの実行に費やした時間に対して課金が発生
開発時のポイント 開発方法 ・全てのデータ連携処理をGUIで開発可能 ・GUI(連携、入出力設定、簡単な加工変換処理)
・プログラミング(複雑な加工変換処理)
接続先 AWSサービス以外も豊富 AWSサービスが中心
運用時のポイント サポート トラブル発生時の問い合わせ先を考慮する必要あり

次章では上記の検討ポイントの中で特に重要な観点についてもう少し詳細に説明します。


3-2.設計時のポイント

AWS上のインフラストラクチャの準備


DataSpider Servista:
DataSpider ServistaはWindowsおよびLinux上にインストールし、実行することができます。また、オンプレミス環境への構築はもちろんのこと、クラウド環境であるIaaS上(AWSの場合はAmazon EC2)に構築することも可能です。

図.AWS上のDataspider Servistaの構成イメージ
EC2上にインストールして利用する



AWS Glue:
AWS Glueは、フルマネージドでサーバーレスのデータ統合サービスです。フルマネージドとは、AWSがインフラストラクチャや運用に関する責任を持ち、ユーザーは管理作業を最小限に抑えてサービスを利用できることを指します。また、サーバーレスとはサーバーを意識せずにシステムを構築・運用することを指します。このような特徴から、AWS Glueはサーバーへインストールせずに利用を開始できます。

図.AWS上のAWS Glueの構成イメージ
サーバーレスであるため、EC2を準備する必要がない


3-3.開発時のポイント

開発方法


DataSpider Servista:
DataSpider Servistaでは、全てのデータ連携処理をGUIで開発することが可能です。特に、加工変換処理については文字の加工や数値計算、日付変換など約140種類のアイコンが提供されています。アイコンを組み合わせることで、複雑な加工変換処理もGUIで開発が可能です。また、GUI開発により、別の開発者に引き継ぎを行った際にも、各アイコンごとの処理内容の把握や修正箇所の特定が容易になります。

図.Dataspider Servistaにおける開発画面



AWS Glue:
AWS GlueではGUIを通じて、AWSサービスとの連携設定やデータの入出力設定、そして簡単な加工変換処理を行えます。

図.AWS GlueにおけるGUIでの開発画面


また、複雑なデータ連携処理についてはPython、Scala、SQLなどのプログラミング言語を使用することで実装できます。

図.AWS Glueにおけるプログラミングでの開発画面


3-4.運用時のポイント

サポート


新たな製品やサービスを導入し、運用する際には、問い合わせ先を考慮することが重要です。特にクラウド上でデータ連携ツールを導入する場合は、ソフトウェア以外にもコーディング、ネットワーク、サーバー、ジョブ管理ツールなどの要素に気を配る必要があります。個別のサポート窓口では責任の分界点が曖昧になり、障害の原因特定に時間と工数がかかる可能性があります。そのため、一元的な問い合わせ窓口を提供し、障害の追跡や解決をスムーズに行うことが重要です。

アシストが提供する「DataSpider on AWS」であれば障害発生時にもソフトウェアからインフラストラクチャまでまとめてアシストに相談できるため、問題解決までの時間や工数を削減でき、ユーザー側で障害の責任の分界点について考慮する必要もなくなります。


4.適したユースケース

4-1.DataSpider Servistaに適したユースケース

DataSpider Servistaは、以下のようなニーズがあるユーザーに最適なツールだと言えます。

【ユースケース①】GUIを中心としたデータ連携を実現したい

DataSpider Servistaは、直感的なGUIを備えており、GUIを使用してデータ連携フローを設計・構築することができます。GUIを利用することで、プログラミングの知識がなくても、データ連携の設定や統合を簡単に実現することができます。

【ユースケース②】AWSサービス以外のデータソースともデータ連携を行いたい

DataSpider Servistaでは、AWSサービス以外にも、多様なデータソースをサポートしています。アダプタの詳細については以下をご参照ください。

【ユースケース③】更新頻度の高いデータ連携処理を行いたい

DataSpider Servistaは、トリガー機能が充実しており、少量データを即時に処理する場合に適しています。これにより、リアルタイム性の高いデータ連携処理を実現することができます。


AWSとDataSpiderの構成をご検討の方はこちら

DataSpider on AWSのサービス概要資料をダウンロードする
(AWSにDataSpiderを構築する流れとそのFAQ 等)


4-2.AWS Glueに適したユースケース

AWS Glueは、以下のようなニーズがあるユーザーに最適なツールだと言えます。

【ユースケース①】GUIだけでなく、プログラミングも用いてデータ連携を行いたい

AWS Glueは、GUIを用いた視覚的なデータ連携だけでなく、PythonまたはScalaを使ったプログラミングによるデータ連携を行うことができます。

【ユースケース②】AWSサービスを中心としたデータ連携を行いたい

AWS Glueは、AWSサービスとの関連性が強く、AWS上でのデータ連携を中心に運用を行うことができます。

【ユースケース③】大量データのまとめ処理を行いたい

AWS Glueは、大量のデータを高速かつスケーラブルに処理することができます。大規模なデータのETL処理などにも利用できます。


5.まとめ

ここまで、データ連携に関するツールのご紹介と検討ポイントについて解説を行いました。データ連携は、ビジネスにおいて重要な役割を果たします。その有効性を最大限に引き出すために、適切なツールの選択と最適なユースケースの特定が必要です。DataSpider ServistaとAWS Glueにおいても、それぞれ優れた機能を持っていますが、使用目的や環境によって適切な選択が必要です。

DataSpider ServistaやAWS Glueに関して、より詳細な情報が必要な方や、どちらのツールを使用すべきか悩んでいる方は、アシストにお気軽にご相談ください。



執筆者情報

しげの じゅん れみー プロフィール画像

2022年新卒入社。現在は、アシスト取扱製品とAWSを組み合わせた「パッケージ on AWS」のプリセールス、ポストセールス業務を中心に担当している。趣味は旅行、筋トレ、サウナ。...show more


■本記事の内容について
 本記事に示した定義及び条件は変更される場合があります。あらかじめご了承ください。

■商標に関して
 ・Oracle®、Java、MySQL及びNetSuiteは、Oracle、その子会社及び関連会社の米国及びその他の国における登録商標です。
 ・Amazon Web Services、AWS、Powered by AWS ロゴ、[およびかかる資料で使用されるその他の AWS 商標] は、Amazon.com, Inc. またはその関連会社の商標です。
  文中の社名、商品名等は各社の商標または登録商標である場合があります。

関連している記事

  • AWS
2024.03.29

AWS Jr. Championsに選出されて良かったことを振り返ります!

~しまえりの雲を向いて歩こう!シリーズ:第7回目~ 今回のブログ記事ではAWS Jr. Championsとしての一年間の活動を通して「AWS Jr. Championsに選ばれて良かった!」と特に感じたことをご紹介したいと思います。

  • AWS
2024.03.19

今日から使える!AWS re:Invent 2023注目アップデート AWS re:Invent 2023参加レポート#4

今回のAWS re:Inventでも数々の新製品や機能、サービスの発表があり、クラウド技術の進化とその可能性を改めて感じることができました。本記事では「今日から使える!」をテーマに注目すべきアップデートについてお伝えしたいと思います。

  • AWS
2024.02.19

「お金をかけてわざわざ現地に行く必要があるのか?」に対する答え AWS re:Invent 2023参加レポート#3

本ブログではre:Invent 2023参加レポートとしての現地交流の様子や最新のサービスアップデートの情報を取り上げてきました。今回は趣向を変えて海外出張あるあるとも言えるテーマに管理職の立場で(怒られない程度に)踏み込んでみたいと思います。

ページの先頭へ戻る