ELT入門 - なぜ今、ELTがデータ活用で注目されているのか?

はじめに:ELTが注目される背景
アシストでは「データ連携」を大きく以下の2つに分類して捉えています。
システム間連携:
SoR/SoEにおいてシステム同士でデータを連携するデータパイプライン:
SoIとしてデータ活用のためにデータをデータウェアハウス(以下、DWH)に連携する

当ブログでは、「データ活用のためのデータ連携」として、データパイプラインにフォーカスして記載します。
企業におけるデータはクラウドやオンプレに分散し、種類も量も爆発的に増加しており、企業としてDXやデータドリブンを推進するためには、これらのデータを活用することが求められています。
データを活用するために、これらの散在しているデータ/大量のデータを収集&連携し、DWHに統合する必要があります。
これまでは「ETL」というデータ連携手法(ETLツール)を用いて、DWHにデータ統合することが主流でしたが、昨今のデータ活用ニーズの多様化やデータ統合の複雑さもあってETLでは対応しきれないケースも出てきております。
そこで注目されているのが「ELT」というデータ連携手法(ELTツール)です。
ELTとは? ETLとの違いについて
ETLとは
データを「Extract(抽出)→ Transform(加工)→ Load(格納)」のプロセスでDWHにデータを持っていき統合するデータ連携手法です。

ELTとは
データを「Extract(抽出)→ Load(格納)→ Transform(加工)」のプロセスでDWHにデータを持っていき統合するデータ連携手法です。

ETLとELTの比較
ETLとELTの違いについて、以下の表にまとめました。
ETLとELTの最大の違いは「T」の位置であり、ELTでのデータ加工はDWHにデータを格納した後にDWH側で行います。

ELTによるメリット
「ELT」というデータ連携手法(ELTツール)をとることで、以下のようなメリットが挙げられます。
高速なデータ準備
生データをDWHに直接ロードするためデータ準備のリードタイムを短縮できます。
(データ加工は後から考えることができます。)

高い柔軟性と変化への対応
生データのままDWHに保存されるため、後で分析要件が変化しても、データを再抽出・再格納することなくDWH内で柔軟にデータ加工することができます。
ビジネス部門からの突発的な分析要望にも迅速に対応できます。
スケーラビリティとコスト効率(特にクラウドDWHの場合)
クラウドベースのDWH(例:Snowflake、Amazon Redshiftなど)と組み合わせることで、データ量の増加に柔軟に対応できます。
必要なときに必要なリソースを利用する従量課金制ライセンスにより、初期投資を抑えつつ運用コストの最適化が図れる可能性があります。
データ活用担当との連携強化
データサイエンティストやアナリストが、DWH内の生データに直接アクセスし、自身の持つスキル(SQLなど)で自由にデータを加工・分析できるようになります。
ELTを検討する際のポイント
ELT検討時には、以下のような点を考慮する必要があります。
クラウドDWHの活用
ELTとクラウドDWHは非常に相性が良いので、クラウドDWHとセットで検討する必要があります。データガバナンスの考え方
生データのままDWHに格納することのメリットと同時に、データガバナンス(誰がどのデータにアクセスできるか?、データの品質担保など)が重要となります。既存システムとの連携
既存のETLツールとELTツールの住み分け、既存システム(DBやクラウド)からのデータ抽出やクラウドDWHへのデータ連携・統合など、多方面での検討が必要となります。
ELTを実現するツールのご紹介
ELTを実現するツールは多々ありますが、ここでは代表的な2つのツールをご紹介します。
Qlik Talend Cloud
レプリケーション技術をベースとするクラウドデータ統合プラットフォームです。
ETLもELTにも対応しており、特にELTを得意としております。
直感的なGUIでデータパイプラインを構築でき、専門的なコーディングスキルがなくても利用しやすいツールです。
データ統合のみに留まらず、データ統合後のデータ活用もセットで提供するエンド・ツー・エンドのデータ活用ソリューションです。
Fivetran
データソースからクラウドDWHへのデータロードを自動化・簡素化することに特化したクラウドのELTツールです。
特に、Extract(抽出)とLoad(ロード)のフェーズを高度に自動化し、システム担当者の手間を大幅に削減する点が強みです。
"データ連携のパイプラインを構築するのではなく、データをDWHに「同期」する"というコンセプトでデータパイプラインを構築します。
まとめ
「ELT」はデータ活用のためのデータ連携として強力な手法であり、データ活用基盤の構築やDX/データドリブン推進に貢献できる可能性をご理解いただけましたでしょうか?
Qlik Talend CloudやFivetranは、それぞれ異なる強みを持つELTを実現するツールであり、企業のデータ活用ニーズに合わせて選択することで、より効果的に信頼性の高いデータ連携基盤を構築できると思います。
ページトップへ戻る