DataSpiderの冗長化構成について

皆さん、こんにちは！

システムを継続的に稼働させるためには、可用性を高めたシステム構築が重要となります。本記事では、DataSpiderの冗長化構成パターンについて、具体的な構成例や考慮点を交えてご紹介します。

１．冗長化構成の考え方

1. 冗長化構成の考え方

冗長化構成を検討する際のポイントは以下の通りです：

停止時間（ダウンタイム）：システムの停止時間をどの程度に収めるか
待機系への切り替え方法：障害発生時にどのように待機系へシステムを切り替えるか
障害の対象：アプリケーション、H/W、OS、ネットワークなど、どの部分を対象とするか
複数台での稼働：本番系と待機系の2台で構成するか、負荷分散を意識して複数台で稼働させるか

2. DataSpiderにおける冗長化

DataSpiderのシステム構成は、DataSpider ServerとStudioを中心に構成されています。
以下のようなモジュールが含まれます：

DataSpider Server：処理エンジン
DataSpider Studio：開発ツール
ScriptRunner：外部ツールからの処理実行要求を行うモジュール
リポジトリDB：メタデータの管理用データベース

DataSpiderにおける障害発生箇所は以下が想定されます。

各障害発生箇所とDataSpider側の対応をまとめると以下の通りです。

また、下記のメンテナンス作業ではDataSpiderサービスの停止が伴います。

障害発生時のみではなく、メンテナンス作業時のサービス停止を加味したシステム構成を検討する必要があります。

3. HAクラスタ構成

パターン①（Active-Standby：ノード別インストール）

通常運用時はActive環境で運用し、障害発生時はクラスタソフトでStandbyに切り替えて運用する構成です。

ポイント：
障害発生時にStandbyへ切り替え可能
DataSpiderライセンスは1環境分のみで構築可能
DataSpiderパッチ適用やパラメータファイル設定変更などを行う場合、クラスタソフトにてStandbyへ切り替えてメンテナンスが可能
考慮点：
切り替えによるダウンタイムが生じる
実行中の処理は再実行が必要
開発資産の同期が必要
データファイルは、ActiveおよびStandbyで参照可能なファイルストレージへ配置する運用が必要

パターン②（Active-Standby：共有ディスクインストール）

通常運用時はActive環境で運用し、障害発生時はクラスタソフトでStandbyに切り替える構成です。共有ディスクを使用するため、ActiveとStandby間の同期が不要です。

ポイント：
障害発生時にStandbyへ切り替え可能
DataSpiderライセンスは1環境分のみで構築可能
開発資産の同期が不要
考慮点：
切り替えによるダウンタイムが生じる
実行中の処理は再実行が必要
ActiveとStandby環境から、共有ディスクを正しくマウントできるか確認が必要
共有ディスクに障害が発生した場合の対応検討が必要
DataSpiderServerモジュールがActive、Standbyで共通となるため、DataSpiderパッチ適用やパラメータファイル設定変更などを行う場合、データ連携処理を停止したメンテナンスが必要

4. 負荷分散クラスタ構成

パターン③（Active-Active：ノード別インストール）

ロードバランサを利用し、DataSpider ServerをActive-Activeで運用する構成です。通常運用時は各Active環境へ負荷分散し、障害発生時は片系での縮退運用が可能です。

ポイント：
障害発生時にダウンタイムが発生せず運用を継続可能
各Active環境へ処理を分散実行可能
障害発生時は、稼働中の片系にて縮退運用可能
DataSpiderパッチ適用やパラメータファイル設定変更などを行う場合、データ連携処理を停止せずに縮退運用が可能
考慮点：
各Active環境での処理競合を避ける設計が必要
開発資産の同期が必要
ScriptRunnerもしくはHTTP（S）リクエストで処理制御を行う構成となるため、DataSpiderのファイルトリガーは利用不可
障害発生時に実行中の処理については、稼働中の片系へ切り替え後に再実行が必要
データファイルは、Active①およびActive②で参照可能なファイルストレージへ配置する運用が必要
DataSpiderライセンスは、2環境分が必要

5. 冗長化構成まとめ

各冗長化構成パターンのサマリは以下の通りです：

検討ポイント	HAクラスタ構成（パターン①）	HAクラスタ構成（パターン②）	負荷分散クラスタ構成（パターン③）
構成方式	Active-Standby	Active-Standby	Active-Active
インストール方式	ノード別インストール	共有ディスクインストール	ノード別インストール
停止時間	切り替えによるダウンタイムが生じる	切り替えによるダウンタイムが生じる	ダウンタイムは発生せず運用を継続
待機系への切り替え方法	自動	自動	自動
複数台での稼働	無し	無し	有り
入出力データ格納先	ファイルストレージ	共有ディスク	ファイルストレージ

-------------------------------------------------------------------------------------------------------------------
DataSpiderの冗長化構成について理解が深まったでしょうか？システムの停止時間を最小限に抑え、障害発生時にも迅速に対応できるようにするためには、適切な冗長化構成を選択することが重要です。ぜひ、この記事を参考にして、最適な構成を検討してみてください。

執筆者情報：

Glean（革新的な生成AIサービス）

株式会社アシスト

Gleanは情報検索と組織内の知識共有を促進するツール。ユーザーが必要な情報を迅速に見つけることができ、生産性の向上に寄与します。

2023年5月からアシストの仲間入りし、現在は「生成AI機能」も提供。

関連ブログ：
「ナレッジ共有」と「情報検索」における課題を解決！アシストの生成AI導入までの軌跡
https://www.ashisuto.co.jp/pr/west/article/column-202403.html