データベース負荷軽減の実践事例-DMExpressができること

今回のテーマは「データベース負荷の軽減」です。

データベース処理を他の方法で代替させ、データベースの処理軽減を行うことを
「データベースオフロード」といいます。
（オフロードとはシステム負荷軽減のこと）

データベースオフロードを実現する手法はいくつか考えられますが
その中でも「バッチ処理」によるアプローチについて考察してみました。

企業の業務システムでまだまだ多くみられる「バッチ処理」。
バッチ処理の実装には、大きく2つの形態があります。

データベース内での実装（データ処理エンジンは、データベース）
ファイルベースでの実装（データ処理エンジンは、プログラミング言語）

メインフレームといった環境では後者での実装が多いかと思いますが
オープン環境では前者でのバッチ処理実装がほとんどではないでしょうか。

データベースに対象データを収集し、SQLとストアドプロシジャによってデータ処理を実装する。
リレーショナル・データベースという汎用化されたデータ管理技術によって
データの管理と処理を簡単に行えることがその理由です。

その汎用性と手軽さの一方で、

ストアドプロシジャでのデータ処理実装は、処理の全体像がつかみにくく、保守性が悪い
データベース・ソフトウェアに掛かるライセンスや保守、H/Wへのコスト負担が大きい

といったデメリットを感じているお客様もいらっしゃいます。

業務システムの多くが、トランザクション処理・データ蓄積・バッチ処理と
システムで行われる一連のデータ処理をデータベースが中核となって構成されている中
データベースに負荷が集中しその増強が差し迫られる局面では
H/W増強やライセンス追加に掛かるコストは大きなものとなってしまいます。

ここで冒頭の「データベースオフロード」。
オンライン処理の中核となるトランザクション処理やそれに伴う業務データの蓄積は
データベースでの実装が現状のシステムアーキテクチャでは不可欠です。

対してバッチ処理については
冒頭の通り処理形態がデータベース以外でも実装できることから
比較的オフロードし易い領域と言われています。

バッチ処理をデータベースからオフロードする際に採用される手段は
もちろんデータベースでの処理実装よりも

簡易で保守性が高い
処理性能が高い
費用対効果が高い

必要性があります。

ここで弊社が上記の3つのポイントを押さえ
データベースオフロードを実現する手段としてお客様にご提案する内容としては
ETLツール「Syncsort DMExpress」をデータ処理エンジンとして利用するご提案です。

DMExpressによるデータベースオフロードのイメージの一例としてはこんな感じです。

DMExpressによるデータベースオフロードのイメージ

DMExpressの機能詳細はさておき
ここでは実際にDMExpressを使ってデータベースオフロードを実践され成功された
2社の事例をご紹介いたします。

損害保険料率算出機構様

一つ目の事例は、国内で唯一の損害保険の料率算出団体である損害保険料率算出機構様です。
会員となる損害保険各社から収集した大量のデータを基に、会員各社が自動車保険料の基礎として使用する参考純率の算出など各種損害保険の「料率算出」を行っています。

【オフロードの背景】

自動車保険の参考純率算出に必要なデータを処理するための自動車保険統計システム「ACTION」のシステム更改に伴いUNIXからWindowsへの移行とともに、DMExpressをデータ処理方式に採用しコスト低減のためにデータベースからの脱却を実現されています。

【効果】

Windows環境への移行と脱データベースにより大幅にコストを抑制
バッチ処理時間を約4分の1にまで短縮し、業務時間の有効活用を実現
新たな教育コストが不要となり、ガバナンスの強化を実現

詳細事例はこちらからご覧いただけます！

メディセオ様

二つ目の事例は、医薬品、医療機器等の総合卸売業界におけるリーディング・カンパニーであるメディセオ様です。
医療用医薬品だけでなく、医療機器・医療材料・臨床検査試薬など、診断、検査、治療、投薬に至るまでの医療に関わる商品を1,000社以上のメーカーから仕入れ、病院・診療所や調剤薬局など全国約10万軒もの医療機関へ販売・納品する事業を行っています。

【オフロードの背景】

メインフレームで運用していた基幹システムのオープン化へのチャレンジの際にデータベース実装による大量データのバッチ処理が、規定時間内に完了しないという事態に直面しました。その事態の打開のためデータベースよりも処理性能の高い処理方式であったDMExpressを採用し、基幹システムのオープン化に成功されています。

【効果】

6時間以上を要していたデータ処理を、4分の1以下に短縮
従来数多くあった1時間を越えるデータ処理はほぼない状況に
バッチ処理時間の短縮により7時間の夜間処理内でピーク時の処理も完了できており、基幹システムの着実な運用に大きく貢献
基幹システムで運用されているバッチ処理はDMExpressでの実装が主流となり、今後もその適応範囲を拡大し、医療機関へのサービス向上を目指す

詳細事例はこちらからご覧いただけます！

2社の事例はいかがでしたでしょうか？？

データベースをバッチ処理サーバーのように専用化している構成がある場合には、そのデータベースを完全オフロードし、データベースコストを抑制できる可能性
データベース処理でも処理負荷の高いバッチ処理については、当該処理をオフロードさせて、データベース処理であったならば掛かる可能性のあったコスト（増強コストやチューニングコストなど）を抑制できる可能性

この2つのヒントがこれらの事例にあるように思えます。
DMExpressがなぜデータベースオフロードに有用なのか？は事例内容に譲り
ここでは語りませんが

データベースオフロードにご興味・ご関心があるお客様
これら事例に類似する課題をお持ちのお客様
Syncsort DMExpressの機能詳細が気になるお客様

におかれましては、

をご用意しておりますので、ご参考となれば幸いです。

弊社に直接のお問い合わせも、もちろんのこと構いません！
お気軽にお問い合わせいただけることをお待ちしております。

DMExpressがわかる！オススメ資料のご紹介

このブログを読んで、「DMExpressをもっと知りたい！」と思ってくださった方は
ぜひこちらの資料をご覧ください。
DMExpressの特徴や機能、事例、効果、ライセンス、などこの資料一つでおわかりいただけます！

執筆者情報：

田中貴之　（たなかたかゆき）
東日本技術本部　情報基盤技術統括部

1998年株式会社アシストに入社。
メインフレーム製品やBI製品、SFA製品などのフィールドエンジニアを経験し、
情報系製品のプリセールスチームの立ち上げを行う。
2014年からは、DataSpiderやDMExpressなどデータインテグレーション製品の
ビジネスマネージャとして活動中。