データ集計・検索の処理時間を大幅削減！信用情報機関の大量データ処理を支える情報系システムを構築

1．大容量のデータ集計・検索処理時間を最大98％削減
2．BIで検索項目を自由に設定可能にし、現場担当者が自ら集計・分析を行う環境を実現
3．ノンコーディングで開発可能なデータ処理基盤で連携処理を内製化

株式会社シー・アイ・シーは、割賦販売や消費者ローンなどクレジット事業を営む企業に対して消費者の信用情報を提供する企業です。割賦販売法および貸金業法に基づく指定信用情報機関として、内閣総理大臣および経済産業大臣により唯一指定を受けた「指定信用情報機関」です。

同社は会員であるクレジット会社から消費者の信用情報の提供を受け、データベースで管理するとともに、会員企業からの照会依頼に応じてそれらを提供します。同社が運用する基幹システム上では約7億5,000万件にもおよぶ信用情報が管理されています。それとともに月ごとの信用情報のスナップショットを3年分管理する「情報調査システム」と呼ばれる情報系システムも運用しています。

林 健太郎 氏

この情報調査システムは、主に社内で信用情報の誤登録チェック、各種集計・分析処理に利用されています。膨大な量のデータを扱うシステムだけに、課題や制約も決して少なくなかったと同社 理事 システム開発部長 林健太郎氏は述べます。

林氏 　現在のシステム構成になる以前は、データウェアハウス用のデータベース製品とBIツールを組み合わせてシステムを構成していましたが、定型検索でも5～20時間を要し、現場での利活用が進まない環境になっていました。また非定型検索を行う際は、現場担当者から依頼を受けた開発部門が、都度個別にSQLを開発・実行し、担当者に結果をフィードバックする工程が必要で、システム開発部としてはかなりの負担になっていました。この工程は通常3週間程度を要するため、結果的にデータの鮮度は落ちてしまいます。データ検索業務は日常的に発生するにも関わらず、システムが対応できていない状況でした。

こうした課題を解決するために、同社は、2014年から中期IT計画というテーマのもと、基幹システムを含めたシステム全体の再構築に着手。2018年に情報調査システムの刷新がスタートしました。まずは数百億件にもおよぶ信用情報データの検索処理を高速化すべく、大容量データの処理性能に優れたデータベース製品を選ぶ必要がありました。またデータの利活用を促進するため、これまでシステム開発部が行っていたデータ検索や集計作業を現場担当者が行える使い勝手に優れたBI製品の導入も求められていました。

膨大な量のデータを扱うため、列指向型のデータベース製品を利用しなければ実用に耐えることは難しいと判断。元々利用していたデータベース製品も含め比較検討した結果、同社が最終的に選択したのがアシストの提案した列指向型データベース製品 Verticaでした。

塩崎 貴大 氏

実際に製品の選定および評価を担当した同社 システム開発部 第2開発グループ 塩崎貴大氏によれば、当初はVerticaの処理性能について懐疑的な見方をしていたと言います。

塩崎氏 　扱うデータの量が膨大ですから、いくら高速処理に定評があるVerticaでも対応が難しいのではと思っていました。しかしアシストの検証環境で、実際に当社のデータを1億件ほど使ってテストしてみたところ、処理時間を大幅に削減することが確認され、その処理性能の高さに驚かされました。

BI製品に関しては、現場担当者のデータ利活用を促すという目的のためにも、これまでBIでの業務経験がない担当者でも直感的に操作できることが求められていました。また、信用情報を格納しているデータベースは保有する項目が多いため、絞り込みや項目同士の関連性をフィルタリングできる機能も必須でした。その点、アシストから提案を受けたBIプラットフォーム WebFOCUSの評価は上々だったと言います。WebFOCUSはデータの利用目的や用途、ユーザーのリテラシーに応じた画面デザインが可能なため、同社が挙げる要件を十分に満たすことができたのです。

こうしてVerticaとWebFOCUSの採用を正式に決めた同社は、2018年4月に新たな情報調査システムの構築作業をスタートしました。基幹システムをはじめとする様々な業務システムのデータベースから、データ処理基盤 DMExpressを使ってデータを抽出・加工し、データをファイルとして作成。そのファイルをVerticaにロードする構成をとりました。

同社では既に別システムのデータ連携のためにDMExpressを導入・運用していましたが、その優れた処理性能や開発効率はかねてから高く評価していたと言います。

塩崎氏 　元々は別の高速データ抽出ツールを利用していましたが、販売が終了してしまったため、その代替手段としてアシストからDMExpressを導入しました。以前使っていた製品より30％ほど処理時間を短縮できた上に、GUI上の設定だけでコーディングレスにデータ抽出処理を開発できるため、開発生産性も大幅に向上しました。

大量データでも処理可能なDMExpressでデータを生成し、検索処理性能に優れたVerticaに蓄積、そのデータをWebFOCUSで活用するという構成の「新情報調査システム」は、2019年3月に無事本番リリースを迎えました。リリースにあたって、旧データベースから1,000億件以上、容量にして数十TBのデータがVerticaに移行されています。このデータ移行に際し、固定長から可変長へのファイル形式変換や文字コード変換をDMExpressで実施しました。

情報調査システムを刷新した効果は、その運用開始直後から如実に表れました。Vertica独自のプロジェクション機能や複数台での並列処理により、処理パフォーマンスは劇的に変化しました。実際の処理比較は次のとおりです。

また、業務現場でのデータ利活用に関しても、同社 システム開発部 第2開発グループ 山田裕子氏は、その効果を次のように説明します。

山田氏 　情報調査システムを直接利用する業務現場の担当者は、システム刷新後、かつては長時間待たされていた処理があっという間に終わるので、皆一様に驚いていました。検索画面で自由に項目を設定できるだけでなく、結果が即時に判明するため、トライアンドエラーで検証しながらデータの確認ができるようになり、作業効率は大幅に上昇しました。これまでは、検索処理にあまりに時間がかかるため、BIを使った現場レベルでのデータ利活用はなかなか進みませんでした。しかし「これだけ処理が速くなったのなら、自分たちにもできるのでは？」と、自らの発案で積極的にデータにアクセスし、分析を深めるように変化しています。

また、これまでは開発部門がユーザーからの要望を受けて、遅い検索処理のSQLチューニングなどを度々行っていましたが、システム刷新後は処理性能に関する問題が起きなくなったため、チューニング回数の削減に繋がっています。

林氏 　これまでデータベースの処理性能が低かったため諦めていた複雑なデータ集計・検索の相談が多く寄せられるようになり、開発部門としては嬉しい悲鳴を上げています。またDMExpressのように開発者にとって使いやすいツールを導入することで、開発の内製化を進めて過度の外注によるシステムのブラックボックス化や属人化にも一定の歯止めを掛けられるようになりました。今後はWebFOCUSを他の情報系システムにも展開していき、より社内でのデータ活用を活性化していければと考えています。

最後に、同社はビジネスパートナーとしてのアシストについて、次のように評価しています。

林氏 　システムの密結合を解消するため、最初に提案された製品がDMExpressでした。その際にDMExpressを同じ利用方法で活用しているアシストのユーザー企業と、直接会話できる機会を調整してもらいました。これが企業の垣根を超えて課題を共有できる非常に有意義な時間となり、このような機会を提供してくれたアシストに感謝しています。今後も企業スローガンどおりに、「めげない・逃げない・あまり儲けない」の姿勢を続けてほしいと思います。

※お客様情報は取材時の内容に基づくものです。