EAI/ETL技術者のブログ

  • モダナイゼーションとは
2018.03.15

システム間のデータ移行時によくある課題と解決策

システム間のデータ移行時によくある課題と解決策

こんにちは。アシストの宮本です。

データ連携製品、DataSpiderとDMExpressの技術マネージャを担当しています。

実は、この3月から本ブログの名前が変わって、
「EAI技術者のブログ」→「EAI/ETL技術者のブログ」になりました!
EAIだけではなくETLのネタもこれからどんどんお届けしていきます。
そんなわけで、今日はさっそくETLのトピックです。

前回のブログでは、「EAIとETLの違い」を解説しました。
そこから引用すると・・・
ETLとは、ざっくり言うと「バッチ指向」、平たく例えるなら「引っ越し屋さん」
うーん、わかりやすいですね(笑)。

引っ越しといえば、家だけではなく、システム間でも「データの引っ越し」が存在します。
今回はこのシステム間のデータ移行(引っ越し)について書いてみたいと思います。

新しいシステムを構築する際に、古いシステムや、上流工程となる別システムからデータ移行しなければいけないケースはよくありますね。
その場合、スクラッチで開発するか、データベースの複製に強いレプリケーションツールを使うか、データ加工に強いETLツールを使うか、などが選択肢として挙げられます。

移行元と移行先が同じデータベースでデータモデルも変わらない場合には、

  • データベースで提供されるユーティリティを使って(スクリプトを書いて)スキーマごとコピー
  • 時間的な制約があるものはレプリケーションツールを採用してほぼほぼリアルタイムでデータ移行

といった感じでデータベースの領域でクローズする対応が多いと思います。

しかし、異なるプラットフォームやデータベース間での移行や、データモデルが変更される場合には、視野を広げた対応が必要になります。
データベースが異なればデータベースに依存したユーティリティは使えませんし、データモデルが変更される場合には複数のテーブルを結合したり、カラムのマッピングやデータ加工処理を開発する必要もあります。
また、わざわざ作業用のデータベースを用意し、そこにデータ取り込んで大規模なデータ処理を開発するのは、作業効率とシステム処理効率のどちらの観点でも無駄が多いと言えます。

そんな時に効果的なのが「ETLツール」を使ったアプローチです。

でもちょっと待って。

  • そんなこと言うけど、ETLだと入出力のテーブル毎に処理をつくらないといけないから、テーブル数が増えると開発が大変なんじゃないの?

  • Oracle同士の単純移行だったら、Oracleのユーティリティを使ってスキーマごと簡単にコピーできるのに、、、ETLの方が面倒くさいな

心の声

自分の中からこんな心の声が聞こえてきます・・・。

そうなんです、ETLでもスキーマごとコピーできるようになれば最高なんです。

そんな最高の機能を持ち合わせたETLツールが、この世には存在します。
その名も「DMExpress」。
(ディー・エム・エクスプレスと読みます)

「DMExpress」のユーティリティ「データ・ファネル」という機能を使って、ETLでもスキーマごとのコピーを実現することができます。

「データ・ファネル」は、主要なデータベースとDWHに対応し、スキーマからスキーマを指定するだけで、スキーマに含まれるすべてのテーブルを移行する定義を自動生成し、実行までを管理してくれます。
生成された単純コピーの定義をDMExpressのGUIに取り込んで、細かいデータ加工処理を実装することもできます。

この「データ・ファネル」で解決できるデータ移行処理の開発時によくある4つの課題と具体的な解決策についてまとめた資料を、最後にご紹介します。

春の引っ越しシーズン。データの引っ越しを検討されている方必見です!
データ移行プロジェクトの成功に役立つこと間違いなしですので、ぜひご一読いただけましたらとてもうれしいです。

執筆者

1997年アシスト入社後、IBMメインフレーム環境のアプリケーション性能管理ツールの技術全般を担当。
2005年から、最も賢い超高速ETLツール「Syncsort DMExpress」の技術を担当し、製品マネージャとして製品事業全般に従事。
現在、DataSpiderも含めた、DI製品全般の技術マネージャを担当。

執筆者

宮本 玲(Akira Miyamoto)

関連している記事

  • モダナイゼーションとは
2020.11.27

レガシーシステムのバッチ処理リプレースを成功に導く要素とは?

クリティカルな基幹システムで稼働するバッチ処理のマイグレーション。リプレース時に気をつけたいポイントなどをまとめました。

  • モダナイゼーションとは
2020.02.27

SAP 2027年問題 - S/4HANAへのデータ移行の最適解を考察

SAP 2027年問題に向けて、SAP ERPからS/4HANAへの効率的なデータ移行の方法について解説します!

  • モダナイゼーションとは
2019.06.28

DX「2025年の崖」克服にETL/EAIツールが役立てること

DX「2025年の崖」克服にETL/EAIツールが役立てることについてまとめてみました!

DataSpider Connect HULFT

ページの先頭へ戻る