ETL/EAIツールでデータ連携処理を構築するベストプラクティスとは？(第1回)

こんにちは！アシストでデータ連携製品(DataSpider/DMExpress)を担当している市毛です。

私はETL/EAIツールのフィールド技術担当として、お客様が製品を最大限に活用できるように
ツール購入後の初期支援(製品トレーニング、スキルトランスファー支援、標準化支援等)を日々行っております。

そんな日々のお客様支援を通じて得られた「データ連携処理構築におけるベストプラクティス」を
私なりにまとめたものを連載でお届けしたいと思います。

1) データ連携処理開発にETL/EAIツールを利用するメリット（←今回はココ）
2) データ連携処理開発の躓きやすいポイント
3) データ連携処理開発プロセスのベストプラクティス

データ連携処理の開発で最初に検討すべきことはその手法です。

いわゆる「スクラッチ」で開発するか「ツール」を使って開発するのか。

開発手法のメリット/デメリットについて

「品質(Quality)」
「コスト(Cost)」
「納期(Delivery)」

の3つの視点で考えてみたいと思います。

マトリックスで表すと上記のイメージです。

■品質
　・スクラッチ→△
　　　スクラッチでの開発は、開発者のスキルに依存する傾向にあるため品質のブレ幅は大きいと言えます。
　　　また、多くの場合が要件定義で決まった内容の機能のみを実装することになり
　　　拡張性という観点も加味すると品質レベルが高いとは言えません。

　・ツール→◎
　　　ツール開発は、各種データソースとの接続性など、ツール側の機能で品質が担保される部分が多く
　　　スクラッチと比較すると品質は高いと言えます。
　　　また、要件定義で決まった内容以外の接続が必要な場合もツールの機能でカバーできる可能性が高く
　　　拡張性は高いと言えます。

■コスト
　・スクラッチ→〇
　　　ツールと比較するとソフトウェアのコストはかからないため、
　　　開発規模が比較的小さい場合には特にコストメリットがあります。
　　　ただし、ツールと比較すると一般的に開発生産性は高くないため、開発規模が大きくなると
　　　特に人的コストが増えることになる、というのが注意点です。

　・ツール→△
　　　ツールはソフトウェアコスト(導入費用＋運用費用)がかかるため
　　　小規模な開発であれば開発工数に占めるソフトウェアコストが高くなり全体コストも高くなります。
　　　しかし、開発規模が大きくなると、開発生産性の高さから開発コストを低く抑えることができるのと
　　　保守の観点でも改修コストを抑えられます。

■納期
　・スクラッチ→〇
　　　社内にスクラッチ開発を行える技術者がおり、小規模な開発であれば納期を短くすることができます。
　　　開発規模が大きくなると、要件実現に対するリードタイムが長くなる傾向があり
　　　それに応じて納期にも影響をおよぼします。

　・ツール→◎
　　　データソースへの接続などツール側の機能を利用することで開発しないで済む点と
　　　開発生産性が高いことから開発工数を抑えることができるため、納期短縮には効果的と言えます。


これだけだと判断が難しいので
株式会社SHIFTが実施した「IT関連企業がシステム開発で特に意識している項目」というアンケート結果からも
見ていきたいと思います。

赤枠で囲んだ上位2項目「納期から遅延なくリリースしたい」「開発期間を短くしたい」は
QCDの「D(納期)」に該当します。

システム開発に携わる多くの企業が納期を最重要視していることがわかります。

スクラッチですと属人化してしまい納期が読めない・・というのもよくあるお話です。

「納期を守ってリリース」するには、開発生産性の高さゆえに開発期間短縮が見込める
ツール開発を選択することが望ましいと考えます。

弊社で取り扱っている2つのデータ連携ツール
▶ETLツール「Syncsort DMExpress」
▶EAIツール「DataSpider Servista」
題材にデータ連携処理開発時にツールを利用するメリットをさら深堀りしてみたいと思います。

ETLとEAIの違いについてはこちらの記事（ EAIとETL、その違いってそもそもなんでしょう？ ）をご覧ください。

DMExpressとDataSpiderの特長と、その特長による効果を一つにまとめてみました。

ETLとEAIの使い分けについては要件次第ではありますので、ここではあまり触れませんが
ここでお伝えしたいことは

① 専用のGUI環境を利用することで高い開発生産性を実現できる (簡単に作れる)
②③ 製品に備わっている機能でデータ連携処理開発を省力化 (作らないで済む)

という点です。


データ連携処理の開発にツールを利用するという選択肢を、まずはご理解いただけたでしょうか？

次回は、ETL/EAIツールを使ったデータ連携処理開発の躓きやすいポイントをお伝えしたいと思います！

執筆者情報：

市毛 正浩　（いちげ まさひろ）
東日本技術本部 情報基盤技術統括部

2008年 株式会社アシストに中途入社。
EAI/ETL製品「DataSpider」「Syncsort DMExpress」の提案活動とお客様支援に
従事。