データベース・オフロードにより処理の高速化とコストダウンを実現！ ～大量の数理統計データ処理基盤を刷新～

1．DMExpressとCOBOLの組み合わせにより、それぞれの特長を生かした最適なデータ処理基盤を実装
2．データベースによるデータ処理の仕組みからファイルベースの処理基盤へと移行し、コスト低減
3．バッチ処理時間を約4分の1まで短縮し、業務時間の有効活用とバッチ処理以外でのデータ活用を実現

現在、国内で唯一の料率算出団体である損害保険料率算出機構。30を超える会員会社から収集した大量のデータを基に、会員各社が自動車保険料の基礎として使用することができる参考純率の算出など各種損害保険の「料率算出」を行っている。また、自賠責保険の「損害調査」や「データバンク」としての統計表・調査研究情報など社会的意義のある情報発信などの事業も展開。高い精度の統計手法を駆使することで損害保険業界を強力に下支えしています。

同機構では、自動車保険の参考純率を算出した上で会員各社に提供しています。そのために数理計算を担う部門が必要とするデータを整理し、そのデータを受け渡すための自動車保険統計システム「ACTION」を運用しています。情報システム部 システム開発グループ グループリーダーの江﨑 新 氏は次のように振り返ります。

江﨑氏 　既存のACTION3が稼働していたハードウェアが保守切れを迎え、次期ACTION4への移行を検討しました。この刷新に合わせて、顕在化していた課題を解消する基盤整備を目指したのです。

システム構成の見直しによるコスト低減や認証基盤の整備、テスト環境も含めたパフォーマンス向上によるバッチ処理時間の短縮が課題でした。情報システム部 システム開発グループの鈴木 慶太 氏は次のように説明します。

鈴木氏 　高機能なデータベースを単に中間ファイルの代用として使用していました。ライセンスや保守費用が上昇していく中で、構成や処理方式を見直してコスト低減を模索しました。また、会員各社から寄せられる年間1億件ほどのレコード情報をデータベースに投入し、加工・変換・集計を行い様々な統計表を出力するのですが、そのバッチ処理に最大49時間ほどかかっていました。この処理時間を改善すべく、高速化できる方式を検討したのです。

構成を検討する段階で、UNIXからWindowsへのマイグレーションを検討しながら、コストが増加するデータベースではなく、併せてデータ処理の高速化が可能な環境を目指しました。言語の選定からツール活用までを含めて、いくつかの方法でPoCを実施し、注目したのが、言語としてのCOBOLとアシストが提供する超高速ETLツールのDMExpressでした。

鈴木氏 　Windows環境であれば、ディレクトリサービスによる認証基盤が利用でき、新たなメンバーにUNIXを習得させる必要もありません。取得コスト・習得コストのどちらにもメリットが大きいため、Windows環境へのマイグレーションを選択しました。また、データベース処理に代わりCOBOLやC、Javaなど、言語だけで処理する仕組みも試してみましたが、COBOLと高速処理が可能なDMExpressの組み合わせが、性能や保守性を考えると最適だったのです。

DMExpressは機構内で運用しているACTION以外の他システムでも導入実績があり、その高速性や安定性が高く評価されていました。スキル習得の面でもツールを統一することでメリットが得られると判断しました。

大きな課題の1つだったバッチ処理のパフォーマンスについても、PoCの段階でサーバのコア数やメモリを増減させて性能評価したところ、DMExpressであれば顕著に処理速度が向上することが確認できたと鈴木氏は評価します。

鈴木氏 　DMExpressのスマートETLオプティマイザは、マシンリソースから最適な形に自動チューニングしてくれるので、スペックを上げると処理性能を格段に向上できます。COBOL単体ではコア数を変えてもさほど変わらない点を踏まえると、性能面で DMExpressの効果はとても大きく、データベース処理の代替として採用できると感じました。

ACTION4で出力した統計表は、数理計算を担う部門に各データを受け渡し、それ以降の参考純率の計算が行われます。統計表作成のためのバッチ処理は年数回行われますが、それ以外にも非定型バッチ処理は通年稼働しており、それについてもDMExpressを利用したバッチ処理による性能向上により、例えば、過年度の傾向など数理部門が求める情報を、タイムリーに提供できるようになりました。

また、UNIXからのマイグレーションとデータベースを使わないシンプルなシステム構成になったことで、コスト面でも大きな効果が得られており、十分なテスト環境を整備することも可能になった点も機構内では評価されています。

鈴木氏 　ACTION3で49時間ほどかかっていたバッチ処理を、今では約4分の1の14時間ほどで結果が出せるようになり、時間を大幅に短縮できました。また、以前はデータベースのメンテナンスも発生していましたが、今ではそのプロセスも不要になりましたので、より効率的に業務を進めることができています。

以前と比べて圧倒的な高速処理が可能になっているだけでなく、DMExpressでの処理作成も容易で、安心して利用できるとツールに対する評価の声が寄せられています。情報システム部 システム開発グループの嶋中 みく氏も、その効果を実感しています。

嶋中氏 　必要な条件に絞ることも容易になりました。例えば、1億レコードほどのファイルからでも15分程度で情報が抽出できるなど、非定型的なデータ調査にも大きく役立っています。処理時間が短縮できたことで、成果物のチェックなどに、より時間を割けるようになるなど、時間を効率的に活用できるようになりました。欲しい情報をタイムリーに取得し、提供できるようになったことも、大きな成果ですね。

情報システム部の役割として、数理部門に確実な形でデータを提供していくことが今後も求められるため、社会的な情勢に応じて料率算出手法が変化した場合でも、ACTIONを安定稼働させていくことは欠かせません。

江﨑氏 　ACTION4への移行で十分な効果を発揮していると感じていますが、我々の使い方はDMExpressのもつ豊富な機能の一部を利用しているに過ぎないでしょう。他社での活用事例を含めた、より有効活用するための情報提供をアシストには期待したいですね。

今回のデータ処理基盤の移行では、従来の業務フローを変更しない前提で進めたため、DMExpressのGUI開発ではなくスクリプト開発で構築しています。しかし、今後は業務上のメリットが出てくるのであれば、GUIの積極的な活用も視野に入ってきます。

鈴木氏 　いずれはと、クラウドネイティブな環境作りも念頭に置いています。ソフトウェアの変更をテストしながら本番環境に自動リリース可能な状態を目指したCI/CD（継続的インティグレーション／継続的デリバリー）や、コンテナといった技術にも興味があります。DMExpressとの連携も含めて、アシストからの技術的な情報提供に今後も期待しています。

損害保険料率算出機構様へお話をお聞きしたインタビュー記事をPDFでお読みいただけます。

※お客様情報は取材時の内容に基づくものです。