- Qlik Cloud
- Qlik Sense
- QlikView
- 開発者
- データロード
項目名のゆらぎをまとめる方法
各データファイル内に項目名のゆらぎが存在することはありませんか？今回は、項目名のゆらぎを１つのテーブルにまとめる方法を紹介します。
Qlik Cloud Data Integration（QCDI）は、データの抽出、ロード、変換を簡素化し、リアルタイム分析と意思決定を加速する、Qlikの強力なクラウドプラットフォームです。このブログではQCDIを使ってデータの抽出、ロード、変換を行う操作手順を紹介します。
概要が気になる方は前の記事をご確認ください。
※本記事は「2024年06月時点のSaaS」で作成しています。
それでは実際にQCDIでPostgreSQLからSnowflakeにデータを抽出,ロード,変換していきます。ここではPostgreSQLからSnowflakeにデータを複製するオンボードの手順を紹介します。
オンボードとは、データソース→ターゲットへ継続的にデータを転送することで、
「ランディングタスク」と「ストレージタスク」の二段階で行います。
QCDIでは以下のようにGUIベースでタスクを作るため、コードの知識の無い方でも操作できます。
|
|
ランディングタスクはデータ ソースからデータを継続的に転送し、データを最新に保つタスクです。ストレージタスクは転送されたデータをマージし、最新のデータセットにするタスクです。
今回は以下のデータを使います。
| no | data | customer_code | rquantity | sales |
| 1 | 2023/11/12 | 7402 | 42 | 12180 |
| 2 | 2023/11/12 | 2401 | 208 | 52079 |
| 3 | 2023/11/12 | 6101 | 19 | 3856 |
| 4 | 2023/11/12 | 7201 | 53 | 9975 |
| customer_region | customer_name | customer_code | postal_code |
| 千葉県 | アリス亭 | 2401 | 270-1505 |
| 徳島県 | 酒蔵でん | 6101 | 779-0108 |
| 兵庫県 | グラバー亭 | 7201 | 671-1134 |
| 大阪府 | 洋風居酒屋KX | 7402 | 563-0051 |
| customer_area | customer_code |
| 関東地方 | 2401 |
| 四国地方 | 6101 |
| 近畿地方 | 7201 |
| 近畿地方 | 7402 |
|
|
| no | data | customer_code | quantity | sales |
| 1 | 2023/11/12 | 7402 | 42 | 12180 |
| 2 | 2023/11/12 | 2401 | 208 | 52079 |
| 3 | 2023/11/12 | 6101 | 19 | 3856 |
| 4 | 2023/11/12 | 7201 | 53 | 9975 |
| 5 | 2023/11/12 | 7402 | 20 | 6000 |
|
|
ストレージタスクでSnowflakeに生成されたデータに対して変換タスクを作ります。
|
|
QCDIではSQLを使ったデータ変換とGUIベースでの変換が可能です。今回はGUIベースでの変換を紹介します。
変換タスクでは以下のように変換フローをGUIベースで設定することが可能です。
customerテーブルとcustomerareaテーブルの「cutomer_code」をキーとして、
1つのテーブルに結合する処理をします。
|
|
変換タスクを実行すると、Snowflakeに変換済みのテーブルが生成されます。
|
|
Snowflakeに移動し変換したデータをQlik Senseに取り込んで分析します。
Qlik SenseにはSnowflakeと接続するためのコネクタが初期設定で利用することができます。Qlik Senseで利用できるデータソースは以下のヘルプに載っています。
https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Helpsites/Connectors_SaaS.htm
|
|
必要な項目を入力したら、接続をテストしてテーブルを取り込みます。
|
|
取り込んだデータで分析画面を作ります。
|
|
いかがでしたか。今回はQCDIを使ったデータ統合機能を紹介しました。
QCDIはGUIベースで簡単に操作できるため、データ統合処理構築にかかる時間が短く、さらにリアルタイムデータ連携と変換の自動化、Qlik Senseとの連携によってスピーディーなデータ活用が可能となります。
詳細な機能はヘルプにも記載がございます。
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-services.htm
「もっと話を聞きたい」「社内のデータ活用に課題がある」という方はぜひ以下のページもご覧ください。
https://www.ashisuto.co.jp/product/category/bi/qlik/
|
|---|
株式会社アシスト
ＤＸ推進技術本部 技術統括１部 Ｑｌｉｋ技術部 ２課
2020年に新卒入社し、現在5年目。Qlik製品のプリ/ポストセールスを担当。
特にQlikの技術支援やクラウドサービスの活用に力を入れており、
お客様のビジネス価値向上を目指して日々取り組んでいます。
趣味は料理とテニスで、スーパーのチラシ片手に物価高と戦いながらご飯を作り、
週末にテニスをすることがルーティーンです。
各データファイル内に項目名のゆらぎが存在することはありませんか？今回は、項目名のゆらぎを１つのテーブルにまとめる方法を紹介します。
Qlik Senseを使用したデータ分析の際、一つのチャート内で簡単に異なる角度からデータを見たいと思ったことはありませんか?それはサイクリック軸で可能です。本記事では、サイクリック軸の作成/設定手順と、使用例を紹介します!
Qlik Cloud Data Integration（QCDI）は、データの抽出、ロード、変換を簡素化し、リアルタイム分析と意思決定を加速する、Qlikの強力なクラウドプラットフォームです。
