AWSのデータ連携に役立つツールの選び方とは？初心者でもわかるポイント解説

AWS上でのデータ連携処理において、適切なツールの選択は重要です。しかし、数多くのツールが存在し、どれを選べば良いのか迷ってしまうこともありますよね。

そこで、本記事では初心者でも理解しやすいように、弊社で過去に作成されたデータ連携に関する基本的な記事をご紹介した上で、AWS上で利用可能なデータ連携ツールとしてDataSpider ServistaとAWS Glueを解説します。

AWS上でのデータ連携ツールの選び方を学ぶ第一歩として、ぜひ参考にしてください。

弊社では、50年以上の活動の中で、データ連携に関するノウハウを多く蓄積してきました。ここでは、初心者でも理解しやすいように、基本的なデータ連携に関するブログ記事を抜粋してご紹介します。データ連携に関する知識を深めたい方は、ぜひ以下のサイトもご覧ください。

こちらでは、データ連携をクラウド上で実現するためのツールとしてよく利用される以下をご紹介します。
・DataSpider Servista
・AWS Glue

DataSpider Servistaは、ノンプログラミングで異なるシステムのデータやアプリケーションを連携するEAI（※1）ツールです。GUIでの開発や充実した運用管理機能により、連携処理の自動化を実現します。

DataSpider Servistaにはトリガー機能が充実しており、少量のデータを即時に処理する場合に適しています。例えばファイルの作成や更新、削除といったタイミングで自動的に処理を開始できるため、リアルタイム性の高いデータ処理を実現できます。

​オンプレからクラウドまで幅広いデータ連携を実現できるため、基幹系システムなどオンプレサーバーとデータ連携を行いたい場合にも多く利用されています。

AWS Glueは、Amazon Web Services（AWS）が提供するデータ統合のマネージド型サービスであり、データ連携やデータ変換を簡単に実現できます。GUI開発に加えて、プログラミング言語を使用してデータの抽出、変換、ロード（ETL（※2））プロセスを設計・実行することができます。

また、AWS Glueはサーバーレスアーキテクチャを採用しており、ユーザーがインフラストラクチャを管理する必要がないため、煩雑なサーバーの設定やスケーリングを心配することなく、大量のデータのまとめ処理を行うことができます。

AWSを含むクラウド上のデータ連携ツールとしてよく使われるDataSpider ServistaとAWS Glueの概要を簡単にご紹介しました。本章では、DataSpider ServistaとAWS Glueの特徴を解説していきます。
まずは、両サービスの検討ポイントのまとめから見ていきましょう。

次章では上記の検討ポイントの中で特に重要な観点についてもう少し詳細に説明します。

DataSpider Servista:
DataSpider ServistaはWindowsおよびLinux上にインストールし、実行することができます。また、オンプレミス環境への構築はもちろんのこと、クラウド環境であるIaaS上（AWSの場合はAmazon EC2）に構築することも可能です。

AWS Glue:
AWS Glueは、フルマネージドでサーバーレスのデータ統合サービスです。フルマネージドとは、AWSがインフラストラクチャや運用に関する責任を持ち、ユーザーは管理作業を最小限に抑えてサービスを利用できることを指します。また、サーバーレスとはサーバーを意識せずにシステムを構築・運用することを指します。このような特徴から、AWS Glueはサーバーへインストールせずに利用を開始できます。

DataSpider Servista:
DataSpider Servistaでは、全てのデータ連携処理をGUIで開発することが可能です。特に、加工変換処理については文字の加工や数値計算、日付変換など約140種類のアイコンが提供されています。アイコンを組み合わせることで、複雑な加工変換処理もGUIで開発が可能です。また、GUI開発により、別の開発者に引き継ぎを行った際にも、各アイコンごとの処理内容の把握や修正箇所の特定が容易になります。

AWS Glue:
AWS GlueではGUIを通じて、AWSサービスとの連携設定やデータの入出力設定、そして簡単な加工変換処理を行えます。

また、複雑なデータ連携処理についてはPython、Scala、SQLなどのプログラミング言語を使用することで実装できます。

新たな製品やサービスを導入し、運用する際には、問い合わせ先を考慮することが重要です。特にクラウド上でデータ連携ツールを導入する場合は、ソフトウェア以外にもコーディング、ネットワーク、サーバー、ジョブ管理ツールなどの要素に気を配る必要があります。個別のサポート窓口では責任の分界点が曖昧になり、障害の原因特定に時間と工数がかかる可能性があります。そのため、一元的な問い合わせ窓口を提供し、障害の追跡や解決をスムーズに行うことが重要です。

アシストが提供する「DataSpider on AWS」であれば障害発生時にもソフトウェアからインフラストラクチャまでまとめてアシストに相談できるため、問題解決までの時間や工数を削減でき、ユーザー側で障害の責任の分界点について考慮する必要もなくなります。

DataSpider Servistaは、以下のようなニーズがあるユーザーに最適なツールだと言えます。

DataSpider Servistaは、直感的なGUIを備えており、GUIを使用してデータ連携フローを設計・構築することができます。GUIを利用することで、プログラミングの知識がなくても、データ連携の設定や統合を簡単に実現することができます。

DataSpider Servistaでは、AWSサービス以外にも、多様なデータソースをサポートしています。アダプタの詳細については以下をご参照ください。

DataSpider Servistaは、トリガー機能が充実しており、少量データを即時に処理する場合に適しています。これにより、リアルタイム性の高いデータ連携処理を実現することができます。

AWS Glueは、以下のようなニーズがあるユーザーに最適なツールだと言えます。

AWS Glueは、GUIを用いた視覚的なデータ連携だけでなく、PythonまたはScalaを使ったプログラミングによるデータ連携を行うことができます。

AWS Glueは、AWSサービスとの関連性が強く、AWS上でのデータ連携を中心に運用を行うことができます。

AWS Glueは、大量のデータを高速かつスケーラブルに処理することができます。大規模なデータのETL処理などにも利用できます。

ここまで、データ連携に関するツールのご紹介と検討ポイントについて解説を行いました。データ連携は、ビジネスにおいて重要な役割を果たします。その有効性を最大限に引き出すために、適切なツールの選択と最適なユースケースの特定が必要です。DataSpider ServistaとAWS Glueにおいても、それぞれ優れた機能を持っていますが、使用目的や環境によって適切な選択が必要です。

DataSpider ServistaやAWS Glueに関して、より詳細な情報が必要な方や、どちらのツールを使用すべきか悩んでいる方は、アシストにお気軽にご相談ください。

執筆者情報

• 重野 淳レミー

2022年新卒入社。現在は、アシスト取扱製品とAWSを組み合わせた「パッケージ on AWS」のプリセールス、ポストセールス業務を中心に担当している。趣味は旅行、筋トレ、サウナ。...show more