EAI/ETL技術者のブログ

2024.11.06

DataSpiderの冗長化構成について

DataSpiderの冗長化構成について

皆さん、こんにちは!

システムを継続的に稼働させるためには、可用性を高めたシステム構築が重要となります。本記事では、DataSpiderの冗長化構成パターンについて、具体的な構成例や考慮点を交えてご紹介します。

1. 冗長化構成の考え方

冗長化構成を検討する際のポイントは以下の通りです:

  • 停止時間(ダウンタイム):システムの停止時間をどの程度に収めるか
  • 待機系への切り替え方法:障害発生時にどのように待機系へシステムを切り替えるか
  • 障害の対象:アプリケーション、H/W、OS、ネットワークなど、どの部分を対象とするか
  • 複数台での稼働:本番系と待機系の2台で構成するか、負荷分散を意識して複数台で稼働させるか

2. DataSpiderにおける冗長化

DataSpiderのシステム構成は、DataSpider ServerとStudioを中心に構成されています。
以下のようなモジュールが含まれます:

  • DataSpider Server:処理エンジン
  • DataSpider Studio:開発ツール
  • ScriptRunner:外部ツールからの処理実行要求を行うモジュール
  • リポジトリDB:メタデータの管理用データベース


DataSpiderにおける障害発生箇所は以下が想定されます。


各障害発生箇所とDataSpider側の対応をまとめると以下の通りです。


また、下記のメンテナンス作業ではDataSpiderサービスの停止が伴います。
障害発生時のみではなく、メンテナンス作業時のサービス停止を加味したシステム構成を検討する必要があります。


3. HAクラスタ構成

パターン①(Active-Standby:ノード別インストール)

通常運用時はActive環境で運用し、障害発生時はクラスタソフトでStandbyに切り替えて運用する構成です。

  • ポイント:
  • 障害発生時にStandbyへ切り替え可能
  • DataSpiderライセンスは1環境分のみで構築可能
  • DataSpiderパッチ適用やパラメータファイル設定変更などを行う場合、クラスタソフトにてStandbyへ切り替えてメンテナンスが可能
  • 考慮点:
  • 切り替えによるダウンタイムが生じる
  • 実行中の処理は再実行が必要
  • 開発資産の同期が必要
  • データファイルは、ActiveおよびStandbyで参照可能なファイルストレージへ配置する運用が必要

パターン②(Active-Standby:共有ディスクインストール)

通常運用時はActive環境で運用し、障害発生時はクラスタソフトでStandbyに切り替える構成です。共有ディスクを使用するため、ActiveとStandby間の同期が不要です。

  • ポイント:
  • 障害発生時にStandbyへ切り替え可能
  • DataSpiderライセンスは1環境分のみで構築可能
  • 開発資産の同期が不要
  • 考慮点:
  • 切り替えによるダウンタイムが生じる
  • 実行中の処理は再実行が必要
  • ActiveとStandby環境から、共有ディスクを正しくマウントできるか確認が必要
  • 共有ディスクに障害が発生した場合の対応検討が必要
  • DataSpiderServerモジュールがActive、Standbyで共通となるため、DataSpiderパッチ適用やパラメータファイル設定変更などを行う場合、データ連携処理を停止したメンテナンスが必要

4. 負荷分散クラスタ構成

パターン③(Active-Active:ノード別インストール)

ロードバランサを利用し、DataSpider ServerをActive-Activeで運用する構成です。通常運用時は各Active環境へ負荷分散し、障害発生時は片系での縮退運用が可能です。

  • ポイント:
  • 障害発生時にダウンタイムが発生せず運用を継続可能
  • 各Active環境へ処理を分散実行可能
  • 障害発生時は、稼働中の片系にて縮退運用可能
  • DataSpiderパッチ適用やパラメータファイル設定変更などを行う場合、データ連携処理を停止せずに縮退運用が可能
  • 考慮点:
  • 各Active環境での処理競合を避ける設計が必要
  • 開発資産の同期が必要
  • ScriptRunnerもしくはHTTP(S)リクエストで処理制御を行う構成となるため、DataSpiderのファイルトリガーは利用不可
  • 障害発生時に実行中の処理については、稼働中の片系へ切り替え後に再実行が必要
  • データファイルは、Active①およびActive②で参照可能なファイルストレージへ配置する運用が必要
  • DataSpiderライセンスは、2環境分が必要

5. 冗長化構成まとめ

各冗長化構成パターンのサマリは以下の通りです:

検討ポイント HAクラスタ構成
(パターン①)
HAクラスタ構成
(パターン②)
負荷分散クラスタ構成
(パターン③)
構成方式 Active-Standby Active-Standby Active-Active
インストール方式 ノード別インストール 共有ディスクインストール ノード別インストール
停止時間 切り替えによるダウンタイムが生じる 切り替えによるダウンタイムが生じる ダウンタイムは発生せず運用を継続
待機系への切り替え方法 自動 自動 自動
複数台での稼働 無し 無し 有り
入出力データ格納先 ファイルストレージ 共有ディスク ファイルストレージ

-------------------------------------------------------------------------------------------------------------------
DataSpiderの冗長化構成について理解が深まったでしょうか?システムの停止時間を最小限に抑え、障害発生時にも迅速に対応できるようにするためには、適切な冗長化構成を選択することが重要です。ぜひ、この記事を参考にして、最適な構成を検討してみてください。









執筆者情報:

Glean(革新的な生成AIサービス)
株式会社アシスト
Gleanは情報検索と組織内の知識共有を促進するツール。ユーザーが必要な情報を迅速に見つけることができ、生産性の向上に寄与します。

2023年5月からアシストの仲間入りし、現在は「生成AI機能」も提供。

関連ブログ:
「ナレッジ共有」と「情報検索」における課題を解決!アシストの生成AI導入までの軌跡
https://www.ashisuto.co.jp/pr/west/article/column-202403.html

関連している記事

  • 業務システムとのデータ連携
2024.12.04

JP1で実行したDataSpider処理のエラー内容を取得してみた

DataSpider V4.5 の便利な新機能を試してみました!

  • 業務システムとのデータ連携
2024.08.30

DataSpiderのパワーアップ戦略!グループ共同使用ライセンスでビジネスを加速

DataSpider Servistaのグループ共同使用ライセンスについてご紹介いたします!

  • 業務システムとのデータ連携
2023.08.30

データドリブンを加速させる データ連携・流通の重要性

「データドリブンの実践を加速させるデータ連携・流通の重要性」について解説します。

DataSpider Connect HULFT

ページの先頭へ戻る