新しいデータ統合の手法「ELT」をQlikで実現！ETLとの違いとは？

効率的なデータ分析を行うには必要データを収集統合することが必要です。
また最近では発生したデータをリアルタイムに使いたいとの要望も増えています。
本記事ではこのような課題に対し、Qlikが新たに対応したELTというデータ統合の手法についてご紹介します。

※本記事は「2024年06月時点のQlik Cloud Qlik Cloud Data Integration」で作成しています。

ELTはデータ統合の新しい手法で、データを抽出（Extract）、格納（Load）、変換（Transform）の順番で行います。抽出と格納を先行して行うことで、利用者に素早くデータを届け、また変換もロード先のデータ基盤のリソースを活用することができ効率的に実施できます。

従来のデータ統合では、 ETL という手法が用いられてきました。 ETL と ELT はともにデータ統合に関する手法ですが、実行する処理の順序と実行場所が異なります。

───────────
ETL：
───────────
ETL のプロセスでは、データを抽出（Extract）したあとにETLサーバーで変換し、データのクレンジング、集約などの処理（Transform）を行います。最後に、変換されたデータをデータウェアハウス(以下DWH)にロード（Load）します。
ETL は長い間、データ統合の標準的なアプローチでしたが、変換処理が ETL サーバで行われるため、データ量や更新頻度によっては対応できない課題を抱えていました。

▼リアルタイムデータ連携によるデータ活用の拡大
基幹システムのデータをリアルタイムに取得し、利用者が直接参照できるDWHに格納します

▼クラウドDWHリソースによる高速データ変換
データベース内部でデータの変換加工を行うことで大量データを高速に処理します

▼差分更新処理の開発
データの追加・変更・削除が頻繁に発生するトランザクションテーブルに対し、データの最新化を図る場合に ELT での開発が最適です

◇ ETL の場合◇
データ抽出時に変更箇所を特定し、それにあった処理を個別に開発する必要があり開発負荷が高くなる

◇ ELT の場合◇
変更履歴情報を元にターゲットを更新する設定のみで対応ができるため開発負荷を軽減できる

QlikではQlik Cloud Data Integration（以下QCDI）によって ELT 機能を提供します。QCDIはQlik Cloud 分析と同一プラットフォーム上で動作することでデータの取得から分析までのデータパイプラインを構築します。

▼Qlik Cloud Data Integration（QCDI）の特長

・抽出（E）格納（L）変換（T）の各機能をSaaSサービスとして提供
・オンプレミスのデータソースをクラウドに格納できる

※詳細はQlik Cloudデータ統合紹介ページにてご確認ください

Qlikでは新しくQlik Cloud Data Integration（QCDI）をリリースすることでELT機能を提供することになりました。データ活用の現場では扱うデータが増え、またニーズも多様化していますので、 ELT の需要はますます増えていくと考えています。

しかし、既存の ETL 手法を否定するものではありません。 ELT と ETL との違いを理解し、データを取り込むスピード、データベースにかかる負荷を鑑み、うまく使い分けて自社のデータ分析基盤の運用に活かしてください。

ETL の詳細は以下の記事にて解説しています。是非こちらもご覧ください。

ETLとは～今さら聞けない!? ETLの基礎～
https://www.ashisuto.co.jp/eai_blog/article/201811_etl.html