システム間のデータ移行時によくある課題と解決策

こんにちは。アシストの宮本です。

データ連携製品、DataSpiderとDMExpressの技術マネージャを担当しています。

実は、この3月から本ブログの名前が変わって、
「EAI技術者のブログ」→「EAI/ETL技術者のブログ」になりました！
EAIだけではなくETLのネタもこれからどんどんお届けしていきます。
そんなわけで、今日はさっそくETLのトピックです。

前回のブログでは、「EAIとETLの違い」を解説しました。
そこから引用すると・・・
ETLとは、ざっくり言うと「バッチ指向」、平たく例えるなら「引っ越し屋さん」
うーん、わかりやすいですね（笑）。

引っ越しといえば、家だけではなく、システム間でも「データの引っ越し」が存在します。
今回はこのシステム間のデータ移行(引っ越し)について書いてみたいと思います。

新しいシステムを構築する際に、古いシステムや、上流工程となる別システムからデータ移行しなければいけないケースはよくありますね。
その場合、スクラッチで開発するか、データベースの複製に強いレプリケーションツールを使うか、データ加工に強いETLツールを使うか、などが選択肢として挙げられます。

移行元と移行先が同じデータベースでデータモデルも変わらない場合には、

といった感じでデータベースの領域でクローズする対応が多いと思います。

しかし、異なるプラットフォームやデータベース間での移行や、データモデルが変更される場合には、視野を広げた対応が必要になります。
データベースが異なればデータベースに依存したユーティリティは使えませんし、データモデルが変更される場合には複数のテーブルを結合したり、カラムのマッピングやデータ加工処理を開発する必要もあります。
また、わざわざ作業用のデータベースを用意し、そこにデータ取り込んで大規模なデータ処理を開発するのは、作業効率とシステム処理効率のどちらの観点でも無駄が多いと言えます。

そんな時に効果的なのが「ETLツール」を使ったアプローチです。

でもちょっと待って。

• そんなこと言うけど、ETLだと入出力のテーブル毎に処理をつくらないといけないから、テーブル数が増えると開発が大変なんじゃないの？

• Oracle同士の単純移行だったら、Oracleのユーティリティを使ってスキーマごと簡単にコピーできるのに、、、ETLの方が面倒くさいな

自分の中からこんな心の声が聞こえてきます・・・。

そうなんです、ETLでもスキーマごとコピーできるようになれば最高なんです。

そんな最高の機能を持ち合わせたETLツールが、この世には存在します。
その名も「DMExpress」。
（ディー・エム・エクスプレスと読みます）

「DMExpress」のユーティリティ「データ・ファネル」という機能を使って、ETLでもスキーマごとのコピーを実現することができます。

「データ・ファネル」は、主要なデータベースとDWHに対応し、スキーマからスキーマを指定するだけで、スキーマに含まれるすべてのテーブルを移行する定義を自動生成し、実行までを管理してくれます。
生成された単純コピーの定義をDMExpressのGUIに取り込んで、細かいデータ加工処理を実装することもできます。

この「データ・ファネル」で解決できるデータ移行処理の開発時によくある4つの課題と具体的な解決策についてまとめた資料を、最後にご紹介します。

春の引っ越しシーズン。データの引っ越しを検討されている方必見です！
データ移行プロジェクトの成功に役立つこと間違いなしですので、ぜひご一読いただけましたらとてもうれしいです。