EAI/ETL技術者のブログ

データ連携基盤の運用

DataSpiderの冗長化構成について

公開日:
更新日:
データ連携基盤の運用
#DataSpider
#EAI
#冗長化
DataSpiderの冗長化構成について

皆さん、こんにちは!

システムを継続的に稼働させるためには、可用性を高めたシステム構築が重要となります。本記事では、DataSpiderの冗長化構成パターンについて、具体的な構成例や考慮点を交えてご紹介します。


1. 冗長化構成の考え方

冗長化構成を検討する際のポイントは以下の通りです:

  • 停止時間(ダウンタイム):システムの停止時間をどの程度に収めるか

  • 待機系への切り替え方法:障害発生時にどのように待機系へシステムを切り替えるか

  • 障害の対象:アプリケーション、H/W、OS、ネットワークなど、どの部分を対象とするか

  • 複数台での稼働:本番系と待機系の2台で構成するか、負荷分散を意識して複数台で稼働させるか

2. DataSpiderにおける冗長化

DataSpiderのシステム構成は、DataSpider ServerとStudioを中心に構成されています。
以下のようなモジュールが含まれます:

  • DataSpider Server:処理エンジン

  • DataSpider Studio:開発ツール

  • ScriptRunner:外部ツールからの処理実行要求を行うモジュール

  • リポジトリDB:メタデータの管理用データベース

DataSpiderにおける障害発生箇所は以下が想定されます。

各障害発生箇所とDataSpider側の対応をまとめると以下の通りです。

また、下記のメンテナンス作業ではDataSpiderサービスの停止が伴います。障害発生時のみではなく、メンテナンス作業時のサービス停止を加味したシステム構成を検討する必要があります。

3. HAクラスタ構成

パターン①(Active-Standby:ノード別インストール)

通常運用時はActive環境で運用し、障害発生時はクラスタソフトでStandbyに切り替えて運用する構成です。

ポイント

  • 障害発生時にStandbyへ切り替え可能

  • DataSpiderライセンスは1環境分のみで構築可能

  • DataSpiderパッチ適用やパラメータファイル設定変更などを行う場合、クラスタソフトにてStandbyへ切り替えてメンテナンスが可能

考慮点

  • 切り替えによるダウンタイムが生じる

  • 実行中の処理は再実行が必要

  • 開発資産の同期が必要

  • データファイルは、ActiveおよびStandbyで参照可能なファイルストレージへ配置する運用が必要

パターン②(Active-Standby:共有ディスクインストール)

通常運用時はActive環境で運用し、障害発生時はクラスタソフトでStandbyに切り替える構成です。共有ディスクを使用するため、ActiveとStandby間の同期が不要です。

ポイント

  • 障害発生時にStandbyへ切り替え可能

  • DataSpiderライセンスは1環境分のみで構築可能

  • 開発資産の同期が不要

考慮点

  • 切り替えによるダウンタイムが生じる

  • 実行中の処理は再実行が必要

  • ActiveとStandby環境から、共有ディスクを正しくマウントできるか確認が必要

  • 共有ディスクに障害が発生した場合の対応検討が必要

  • DataSpiderServerモジュールがActive、Standbyで共通となるため、DataSpiderパッチ適用やパラメータファイル設定変更などを行う場合、データ連携処理を停止したメンテナンスが必要

4. 負荷分散クラスタ構成

パターン③(Active-Active:ノード別インストール)

ロードバランサを利用し、DataSpider ServerをActive-Activeで運用する構成です。通常運用時は各Active環境へ負荷分散し、障害発生時は片系での縮退運用が可能です。

ポイント

  • 障害発生時にダウンタイムが発生せず運用を継続可能

  • 各Active環境へ処理を分散実行可能

  • 障害発生時は、稼働中の片系にて縮退運用可能

  • DataSpiderパッチ適用やパラメータファイル設定変更などを行う場合、データ連携処理を停止せずに縮退運用が可能

考慮点

  • 各Active環境での処理競合を避ける設計が必要

  • 開発資産の同期が必要

  • ScriptRunnerもしくはHTTP(S)リクエストで処理制御を行う構成となるため、DataSpiderのファイルトリガーは利用不可

  • 障害発生時に実行中の処理については、稼働中の片系へ切り替え後に再実行が必要

  • データファイルは、Active①およびActive②で参照可能なファイルストレージへ配置する運用が必要

  • DataSpiderライセンスは、2環境分が必要

5. 冗長化構成まとめ

各冗長化構成パターンのサマリは以下の通りです:

検討ポイント

HAクラスタ構成
(パターン①)

HAクラスタ構成
(パターン②)

負荷分散クラスタ構成
(パターン③)

構成方式

Active-Standby

Active-Standby

Active-Active

インストール方式

ノード別インストール

共有ディスクインストール

ノード別インストール

停止時間

切り替えによるダウンタイムが生じる

切り替えによるダウンタイムが生じる

ダウンタイムは発生せず運用を継続

待機系への切り替え方法

自動

自動

自動

複数台での稼働

無し

無し

有り

入出力データ格納先

ファイルストレージ

共有ディスク

ファイルストレージ

-------------------------------------------------------------------------------------------------------------------
DataSpiderの冗長化構成について理解が深まったでしょうか?システムの停止時間を最小限に抑え、障害発生時にも迅速に対応できるようにするためには、適切な冗長化構成を選択することが重要です。ぜひ、この記事を参考にして、最適な構成を検討してみてください。

ページトップへ戻る


この記事をシェアする

この記事を書いたスタッフ

著者の顔写真

Glean(革新的な生成AIサービス)

Glean(革新的な生成AIサービス)