データ連携とは? 基盤構築方法とツール選定のポイント

【目次】
　▶データ連携とは
　▶データ連携によくある3つの課題
　▶データ連携基盤構築のススメ～3つの課題を解決～
　▶データ連携基盤を実装するための4つの方法
　▶データ連携ツール選定のポイント

データ連携とは

データ連携とは、企業内外にあるさまざまなデータやシステムをつないで「データ」を「資産」として有効活用するための仕組みです。

たとえば、企画部門はデータ分析を用いたロジカルな経営判断をしたいと思っていますし、現場部門は「セルフサービス型のBI／データ分析」に代表されるように、自分たちで必要な情報を手に入れて分析したいと思っています。

データはシステム毎に発生し、蓄積され、システム／サービスの間を「データ連携」という形で飛び交っています。従来型のオンプレミス型システムに加え、クラウドサービスが普及してデータの「在り処」はさらに分散化しました。

その結果、システム間の「データ連携」が間に合わない／うまくいかないといった理由で、せっかくのデータ資産を活用できていないケースがあるようです。

データ連携によくある3つの課題

ここで、よくあるデータ連携の課題を3つ挙げて解説してみます。

1.部門ごとにシステムが導入され、データがバラバラに管理されている

データ連携の課題1、業務や部門ごとにシステムが分散しデータがバラバラに管理されている

データ連携は、データの分散管理における課題を解決する素晴らしいソリューションです。しかし、オンプレミスとクラウドサービスの併用が推奨され、既存システムも順次新しいシステムが導入されて新・旧システムが併用されると、データの分散化がさらに進み、データの統合的な管理が追い付かないという課題はより多くの企業で顕在化しそうです。

2.クラウドサービスと既存の社内システムとのデータ連携ができない

データ連携の課題2、クラウドサービスも活用したいが既存システムとの連携ができない

クラウドサービスが急速に普及する反面、新しく導入されるシステムの半数以上が依然としてオンプレミスだと言われてます。つまり、多くの企業はクラウドサービスとオンプレミスを併用しています。必然的に両者のデータ連携が必須となりますが、システム毎の連携プログラムの開発は、開発／運用コストに加えて、セキュリティポリシーの側面からも現実的ではありません。

3.現場での手作業でのデータ入力がありシステム化できていない

データ連携の課題3、手作業でのデータ入力が多く時間がかかり入力ミスも多い

業務管理用のExcelファイルを担当者が手作業でメンテナンスし、システムにデータ登録しているケースは多々あります。このような手作業のデータ登録は、入力ミスやデータの不整合が生じるという問題以外に、データ連携をシステム化する際の阻害要因にもなります。

データ連携基盤構築のススメ～3つの課題を解決～

データ連携基盤とは

「データ連携」は、実際にはたくさん処理の複雑な組み合わせて構成されています。それゆえに考慮点も沢山あり、システムごとに連携プログラムを個別開発する方法はとても非効率的です。

では、効率的にデータ連携を行うにはどうしたらよいのでしょうか？
それには「データ連携基盤」を作ることをオススメします。
データ連携基盤があれば、様々なデータ連携の要件に対して、開発指針がぶれることなく柔軟に対応することが可能だからです。
「データ連携基盤」の実装方法を4つ、それぞれの得意／不得意を含めて紹介します。

データ連携基盤を実装するための4つの方法

データ連携基盤を実装する方法として、「スクラッチ開発」「EAIツール」「ETLツール」「ハイブリッド開発(ツールとスクラッチの併用)」の4つが考えられます。

データ連携処理を開発する際に重要視される4つの軸「開発スキル」「開発生産性」「初期コスト」「運用コスト」で、それぞれの手法の向き/不向きを評価したのが以下の表です。

選択肢	開発スキル	開発生産性	初期コスト	運用コスト
スクラッチ開発	Ｘ	Ｘ	○	Ｘ	オーソドックスな開発手法だが、追加開発や改修を含む運用コストは割高になりがち。開発者のスキルに依存するが、要件に対する柔軟性の高さは大きなメリット。
EAIツール	○	○	△	○	企業内のデータ連携を目的に、柔軟性と開発生産性の向上を目的に考えられた仕組み。様々なシステムへのインタフェースを持ち、ノンプログラミングの開発生産性も高い。IoT連携などリアルタイム性のあるものにも向いている。
ETLツール	○	○	△	○	バッチ処理のイメージが強いETLだが、データ連携基盤としての採用も多い。ツールの成熟度も高くビッグデータや大規模システムの場合に効果を発揮。反面、高頻度な処理や、データ同期にリアルタイム性が求められる場合は不向き。
ハイブリッド開発	Ｘ	△	Ｘ	△	ツールの生産性の高さと、スクラッチ開発の柔軟性を組み合わせた開発手法。ツールを使いこなすスキルと、スクラッチ開発のスキルを同時に求められ担当者にとってはハードルが高い。

上の表からも、データ連携基盤を実装するには、データ連携ツールの利用が効果的であるということがわかります。

データ連携ツール選定のポイント

データ連携ツールにはEAIとETLと2種類ありますが、どう選ぶのが良いのでしょうか？

まずはEAIとETLの違いや特性について簡単にまとめてみます。

EAIとは

EAI（Enterprise Application Integration）とは、直訳すると「企業内アプリケーション統合」。

企業内のさまざまなシステム間でビジネスプロセスやデータを連携させるための仕組みや技術を指します。

EAIはイベント指向での処理を得意とするため、必然として1回のデータ処理におけるデータ量はあまり多くはありません。

複数システム間のビジネスプロセスやデータを連携させるという目的とリアルタイム性が求められやすいという背景から、処理されるデータ量は限られる傾向にあります。

ETLとは

ETL（Extract、Transform、Load）とは、その名の通り
・データ抽出(Extract)
・データ変換(Transform)
・データロード(Load)
というデータ統合処理の各工程を表したものです。

ETLはバッチ指向での処理を得意とするので、大量データの処理に向いています。

「AM4:00までにその日に蓄積された大量データを処理しなければならない」といった、明確な期限のあるミッションクリティカルなデータ処理がその代表です。

EAIツールとETLツールの違いについては、こちらのブログで解説していますので
あわせてご覧ください！