TOP>製品/サービス>課題から探す>データパイプラインとは?用途に応じて最速の手法を

データパイプラインとは?用途に応じて最速の手法を

データパイプラインとは?用途に応じて最速の手法を


データパイプラインとは?

データパイプラインは企業のデータドリブンに欠かすことのできないインフラです。増え続けるデータソースやツールの進化により当たり前になりつつあるBIやAI。これらを効果的につなぎ、様々なビジネスの現場に必要なデータをとどけるための一連の仕組みがパイプラインです。
生命に欠かすことのできない水、人類の活動に欠かすことのできない石油など、水源や油田から利用者のもとにとどけるパイプラインがくまなく整備されています。これと同様に企業の知的活動にとって欠かせないデータを効果的にとどけるパイプラインを構築できるかどうかが、企業のデータドリブンを実現する分かれ道となります。


データパイプラインのイメージ


データをアクションまでつなぐパイプラインの構成要素

石油パイプラインを例にすると、原油採掘からタンカーで貯蔵庫に運ばれ、精製工場で精製され、分解工場で分解され、最終製品へ形を変えて利用価値を生み出します。データパイプラインも同様に、データの発生元からDWH(データウェアハウス)やファイルストレージなどに保存され、必要な加工や変換を加えて最終的な意思決定やアクションにつながる情報を生み出します。


データの発生源から使える場所へ「つなぐ」「ためる」

データは様々な場所で発生します。別々に発生したデータの分析を行うためには一つに収集してまとめる「つなぐ」というプロセスが必要です。このプロセスには生データを分析用のデータに加工や変換する工程も含まれます。また、つないだデータを規模や用途に応じて利用者が使える状態に格納していくのが「ためる」というプロセスです。


データを分析し試行錯誤しながら「いかす」「とどける」

統合されたデータを可視化し、分析しながら情報に変えて意思決定やアクションを促すプロセスが「いかす」になります。また、ダッシュボードやレポート配信、アラート通知など直接的にアクションを促す「とどける」ことの重要性も高まっています。未知の要件に対するデータ活用においては、これらのプロセスで柔軟な試行錯誤を繰り返し行えることが重要となります。



データドリブン実現のためのパイプライン構築の手法

データパイプライン構築においては様々な手法があり、状況に応じて複数のパイプラインを使い分けることが必要です。従来からある「ETL」手法に加えて、最近では増加するデータや変化する要求に対応するために「ELT」という手法が用いられることが多くなっています。また、データドリブンの実現にあたっては、パイプラインの出口となる「いかす」領域までシームレスに構築する必要があり、「ETL&Analytcs」「ELT&Analytics」を意識することが求められます。


「ETL&A」とその課題

ETLとはExtract (抽出)、Transform(変換・加工)、Load(格納)の頭文字を取ったもので「つなぐ」「ためる」領域の一連の処理を提供しています。変換・加工後のデータを格納するため、その先にあるAnalytics(分析)要件に応じた変換・加工の定義が構築のポイントとなります。一般的なウォーターフォール型の開発と相性が良く、分析要件が明確であれば効果的にデータを変換し格納できますが、柔軟性に乏しく、分析要件が曖昧だったり変化が激しい業務になると対応が遅くなりがちです。


「ELT&A」とその可能性

ELTとはETLにおけるTransformとLoadの順番を入れ替えた一連の処理を表しています。最も大きなポイントは、変換・加工する前に格納することで、とにかく早く分析できる場所へデータを格納できることです。分析要件が明確でなくてもデータが格納できるため、データを確認しながら効率的に分析を始めることができます。アジャイル型の開発と相性が良く、状況に応じて格納後に変換・加工を行うことも容易で、データを「いかす」ことにより近づいた手法と言えます。


スモールスタートもアリ!規模に応じたパイプラインの構成

上述の「ETL&A」や「ELT&A」は手法の違いはありますが、システム構成的にはDWHへの格納を前提としており、比較的大規模なデータパイプライン構成となります。ただ、実際の現場ではスピード重視でコンパクトにスタートし、データドリブンを実践しながら徐々にパイプラインを拡張していくケースも多いです。効果的なスモールスタートに適しているのが「オールインワン」手法によるパイプラインとなります。


「オールインワン」によるスモールスタート

オールインワン方式では「いかす」を主体としたより利用者に近い領域で、「つなぐ」「ためる」も含めてデータドリブンを実現します。特定業務でのパイロット利用など大規模なデータ統合やDWHまでは必要ないといった場合は、この手法によるスモールスタートが効果的です。
ただし、この方式が取れるかどうかはBI製品の機能や構成に依存する部分が大きくなります。オールインワン方式が取れる代表的な製品としてはQlikが挙げられます。Qlikは独自の連想技術やインメモリ技術によって、分析アプリという単位でオールインワンの分析環境を容易に実現できます。



アシストがご提案するQlik Cloudのデータパイプラインとデータドリブン

アシストは長年に渡り企業のデータ活用をアシストしてきました。そのノウハウはデータドリブンアシストにも受け継がれています。ExcelやCSVなどのファイルデータから大規模な基幹システムまで様々なデータ発生源や、業務における多様な目的に合わせてデータパイプラインも一つではありません。Qlik CloudはSaaSによる統合されたプラットフォームで、「ELT&A」および「オールインワン」のデータパイプライン構築が可能です。アシストのノウハウと機動的で拡張的なQlik Cloudを合わせて、スモールスタートから大規模なデータパイプラインまで状況に応じてご提案いたします。












Qlik製品のことなら販売/サポート実績No.1のアシストへお任せください






関連製品/サービス

Qlik

Qlik Cloudは、企業のデータドリブンを日常にするデータ活用基盤製品です。 BIとAIが融合され、それらに必要となるデータ統合の自動化もオールインワンで構築し、データがビジネスアクションにつながるデータドリブンを実現します。

  • ビジネスユーザが使いこなせるセルフサービスBI
  • データを可視化して分析!Qlik Sense、QlikView
  • 30日間無償トライアルのスタートアップガイド進呈!

詳細へ

情報活用に関するその他の課題

ページの先頭へ戻る