Qlik Cloud Data Integration（QCDI）は、データの抽出、ロード、変換を簡素化し、リアルタイム分析と意思決定を加速する、Qlikの強力なクラウドプラットフォームです。このブログではQCDIを使ってデータの抽出、ロード、変換を行う操作手順を紹介します。
概要が気になる方は前の記事をご確認ください。

目次

• オンボード（ランディングタスク、ストレージタスク）

• データ変換

• Qlik Senseに取り込む

• さいごに

※本記事は「2024年06月時点のSaaS」で作成しています。

オンボード（ランディングタスク、ストレージタスク）

それでは実際にQCDIでPostgreSQLからSnowflakeにデータを抽出,ロード,変換していきます。ここではPostgreSQLからSnowflakeにデータを複製するオンボードの手順を紹介します。

オンボードとは、データソース→ターゲットへ継続的にデータを転送することで、
「ランディングタスク」と「ストレージタスク」の二段階で行います。

QCDIでは以下のようにGUIベースでタスクを作るため、コードの知識の無い方でも操作できます。

ランディングタスクはデータ ソースからデータを継続的に転送し、データを最新に保つタスクです。ストレージタスクは転送されたデータをマージし、最新のデータセットにするタスクです。

今回は以下のデータを使います。

▼salesdetails

▼customer

▼customerarea

ランディングタスクを実行すると、データがターゲットのSnowflakeに転送されます。

その後元データに変更や追加があるとします。


▼salesdetails

QCDIはリアルタイムでデータの更新をキャッチできるため、Snowflake側にもデータが即座に追加されます。

データ変換

ストレージタスクでSnowflakeに生成されたデータに対して変換タスクを作ります。

QCDIではSQLを使ったデータ変換とGUIベースでの変換が可能です。今回はGUIベースでの変換を紹介します。

変換タスクでは以下のように変換フローをGUIベースで設定することが可能です。
customerテーブルとcustomerareaテーブルの「cutomer_code」をキーとして、
1つのテーブルに結合する処理をします。

変換タスクを実行すると、Snowflakeに変換済みのテーブルが生成されます。

Qlik Senseに取り込む

Snowflakeに移動し変換したデータをQlik Senseに取り込んで分析します。

Qlik SenseにはSnowflakeと接続するためのコネクタが初期設定で利用することができます。Qlik Senseで利用できるデータソースは以下のヘルプに載っています。
https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Helpsites/Connectors_SaaS.htm

必要な項目を入力したら、接続をテストしてテーブルを取り込みます。

取り込んだデータで分析画面を作ります。

さいごに

いかがでしたか。今回はQCDIを使ったデータ統合機能を紹介しました。

QCDIはGUIベースで簡単に操作できるため、データ統合処理構築にかかる時間が短く、さらにリアルタイムデータ連携と変換の自動化、Qlik Senseとの連携によってスピーディーなデータ活用が可能となります。

詳細な機能はヘルプにも記載がございます。
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-services.htm

「もっと話を聞きたい」「社内のデータ活用に課題がある」という方はぜひ以下のページもご覧ください。
https://www.ashisuto.co.jp/product/category/bi/qlik/