「つなぐ」発想で、基幹システムと様々な業務アプリケーションをデータ連携！1日10万件以上のデータ加工を自動化

1．ノンプログラミングのシステム開発で、開発者のスキルに依存しない一定の品質を保証
2．基幹システムと関連する様々なシステムを独立させてデータ連携し、基幹に依存しない開発と運用を実現
3．1日10万件以上に及ぶデータの加工、納品をバッチ処理で自動化し、運用負荷を削減

マーケティング・リサーチ・サービスを提供しているマクロミル。大規模パネルネットワークを駆使したネット・リサーチをはじめ、オフライン・リサーチやグローバル・リサーチなど、幅広いサービス展開が特長です。今回、DataSpiderを、データベース・リサーチの一つである「消費者購買履歴データ(以下、QPR)」のシステムに活用しました。QPRとは、全国3万人のモニターの商品購入実態をリサーチできるデータ収集システム。QPRからの市場動向や購買トレンドなどの各種データを集計、分析し、消費財メーカーなどの顧客へ提供しています。

── DataSpiderを導入されるきっかけは、何でしたか。

私たちが管理しているQPRのデータ（モニターの会員情報や購買データなど）は、現在基幹システムの中に入っています。機能を追加したり、変更したりする時は、基幹システムに手を加えなければならず、基幹システムのメンテナンス・サイクルに合わせる必要があるため、QPRのサービスやスピード感にマッチした開発やリリースがしにくくなってきました。

そこで、将来QPRを基幹システムから独立させることも視野に入れ、機能拡張を行う方針を立てました。QPRの機能拡張を担うためのサブシステムを基幹システムの外部に構築し、QPRの本体が稼働する基幹システムとデータ連携によって「つなぐ」方針です。基幹システムへの依存度を減らし身軽にすることで、QPRの追加要件に応じて柔軟に開発、運用できることを目指しています。そのカギとなるツールがDataSpiderです。

── DataSpiderは、どのように活用されていますか。

一つは、基幹システムとQPRの各サブシステムとのデータ連携で活用しています。例えば、基幹システムと問い合わせ管理システム、基幹システムと分析用データベースなどが挙げられます。

もう一つは、データ加工や納品作業の自動化に活用しています。QPRでは1日10万件以上のリサーチデータを集めるのですが、集めるだけでなく、お客様にデータ提供も行っています。その際、クレンジングなどのデータ加工を行うこともあります。従来、ユーザー部門では加工や納品作業を手動で行っており、バッチ処理のプログラムも含め、手順が属人化していました。DataSpiderを活用することによって、バッチ処理で作業を自動化し、データを納品できるようになりました。

── DataSpider導入に至るまでの経緯を教えてください。

QPRの問い合わせ管理システムとして導入したkintoneがきっかけで、検討を始めました。弊社では、モニターからの問い合わせ対応などをデータ化しています。例えば、モニターデータ収集機器の使い方に関する問い合わせ、データ収集活動の休止や再開といった会員ステータスの変更などです。元々そのデータはExcelを使って管理していました。しかし、処理するデータ量が限界に近づき、システム化が必要となったのです。基幹システム内での構築ではなく、管理システムを簡易に作れるkintoneを導入しました。そこで、基幹システムとデータ連携できる「つなぐ」ツールが必要になったのです。

── 基幹システム以外では、どうですか。

インフラ担当の部署でも、DataSpiderを活用する構想がありました。

基幹システム内のデータを分析する際は、分析用のデータベースに移行させる作業があります。以前からその作業で他のデータ連携製品を利用していましたが、機能が限定的でデータの移行にしか活用できない上、保守の更新にも大きなコストが掛かっていました。そのため、他のデータ連携製品の候補として、汎用性の高いDataSpiderが挙がりました。

── DataSpiderの導入の決め手は、何でしょうか。

今後、QPRを基幹システムから切り離すなら、連携ツールには拡張性が必要です。DataSpiderは、アダプタの接続先が多く、使い方も限定されません。他のツールも同時に検討しましたが、DataSpiderに一番の拡張性や将来性を感じ、導入を決定しました。

── DataSpiderでの開発は、いかがでしたか。

kintoneとのデータ連携があっという間にできたことに驚きました。DataSpiderを使わずに連携させようとすると、基幹システム側にAPI連携をするモジュールの追加開発が必要となり、やはり基幹システム側の改修というハードルの高い開発作業が必要となります。しかし、DataSpiderを使うことで、kintoneと基幹システムのデータベースとのデータ連携を基幹システム側の改修の必要なく実現できます。しかも、本当に短期間で開発できました。反対に、アイコンを並べていくというGUIの使い方に慣れるまでは少し時間が掛かりました（笑）。自分の頭でプログラムを書きつつ、アイコンをどこに設置すれば同じような処理となるのか？など、ちょっと慣れが必要でした。

── ご自身でプログラムを書けるからこその悩みですね。それでもDataSpiderを使って開発された。

うちは開発者が多いので、「DataSpiderを使わずにデータ連携処理をスクラッチで開発した方が早いのでは」という意見もありました。しかし、最初から作るとなると、どうしても開発者のスキルに依存してしまいます。開発にかかる期間や保守性を担保する品質もバラつきが出てしまいます。一方、DataSpiderのようなツールを使えば、誰でも簡単に短期間で開発ができて、一定レベルの性能と品質を担保できるようになります。結果として、全体としての開発生産性が高まりました。

── 現在の仕組みについて、ユーザー部門からは、どのような評価をされていますか。

DataSpiderを使って、基幹システムとkintoneをデータ連携させたことで、「問い合わせなどのデータ管理が非常にスムーズになった」と言われました。さらにデータ加工や納品作業の自動化は、以前からの要望がようやく実現できたので喜ばれています。DataSpiderで様々なシステムとつなげることによって、データの授受が事業の根本である弊社のビジネスも効率化できている面があります。

── 今後の構想をお聞かせください。

最近では、別のサービスを担うチームからも、「Excelでの問い合わせ管理を改善したい」という要望をもらうようになりました。DataSpiderがあれば、kintoneなど他のシステムと連携させて、それぞれのサービス展開に適した形で柔軟に運用ができます。今後は、モニターの詳細な活動記録データも各システムとつなぎ合わせて、お客様に提供できればと現在構想中です。DataSpiderを有効活用し、お客様により満足いただけるサービスを提供していく予定です。

アシストには、製品機能の実現可否など色々とフォローいただき、導入前からリリースまで親身にサポートいただきました。QPRのクラウド化も検討していますので、引き続きサポートいただけると非常にありがたいです。

株式会社マクロミル様へお話をお聞きした
インタビュー記事をPDFでお読みいただけます。

※お客様情報は取材時の内容に基づくものです。