TOP>ニュース/新着情報>アシスト、超高速ETLツール「Syncsort DMExpress」の新バージョン9.6を提供開始

2018年02月27日(火) 製品/サービス

アシスト、超高速ETLツール「Syncsort DMExpress」の新バージョン9.6を提供開始

~ Hadoop関連を中心に強化を図り、ビッグデータETL基盤としての機能をさらに拡充 ~


2018年2月27日
株式会社アシスト

 株式会社アシスト(本社:東京都千代田区、URL:https://www.ashisuto.co.jp/、以下、アシスト)は、取扱製品である超高速ETLツール「Syncsort DMExpress」(開発元:Syncsort Incorporated)の新バージョン9.6を2月28日付けで提供開始します。

 「Syncsort DMExpress」は、独自のスマートETLオプティマイザを搭載した自動チューニング機構が、処理対象のデータ分析とシステムリソース分析を行い、最適なアルゴリズムを組み合わせてETL処理を実行します。そのため、テスト運用での性能改善やチューニングに工数をかけることなく、ノンプログラミング&ノンチューニングで高品質/高性能なETL処理を誰でも簡単に開発することが可能です。

 新バージョン9.6では、データファネル機能、ジョブ実行状況の監視等に関する機能が拡張され、また、Hadoop環境上で並列分散処理を高速に実行する「Syncsort DMX-h」では、実行環境や接続先の拡張も実装されました。ニーズの高まるデータレイクの構築や、Hadoop上でのデータ加工等、ビッグデータETL基盤として、さらに充実した機能を提供します。

 バージョン9.6の主な新機能は下記のとおりです。

Syncsort DMExpress

データファネル機能の拡張
主要なデータベースのデータ移行時に必要な複数の処理定義を、DTL(テキストベースのコマンド言語)形式で自動生成する「データファネル」に、下記の機能が追加されました。
1) Amazon S3を出力先に、Amazon Redshiftを入力元/出力先に指定可能
2) データベースとの接続にHive JDBCを含む接続方法を指定可能
3) Hive/HCatalogを出力先とする場合に、テーブル作成を行うパラメータを指定可能

データファネル処理イメージ


ジョブ実行状況の監視機能の追加
DMExpressおよびDMX-hのMapReduce/Sparkとして実行されるジョブ/タスクのリアルタイムな進行監視と進捗状況のレポート作成が行えるようになりました。

キーブレイク処理関数の追加
キーが同じ場合、異なる場合の処理(キーブレーク処理)用の関数が追加され、累計計算のようなロジックを簡単に実装できるようになりました。

デバッグ機能の強化
データ変換ができない場合などのワーニング発生時に、レコード内容の他にレコード番号を実行ログに出力する機能が追加され、ワーニング対象のレコードの特定が容易になりました。

メタデータのDTLエクスポート
値、条件、レイアウト、データベース接続定義、照合順序といったGUI上で設定したメタデータ定義を、テキスト実行形式のDTLファイルとして出力する機能が追加され、定義を再利用することができるようになりました。

Syncsort DMX-h

Spark実行機能の拡張
1) Spark2.0に対応
2) Sparkのデプロイモードとして、Clientモードの他にClusterモードでのジョブ実行に対応

MapReduce/Spark実行形式に自動変換する「インテリジェント実行機能」の強化
DMX-hのジョブの中に外部プログラムを実行するカスタムタスクを含めた場合でも、インテリジェント実行が適用できるようになりました。

ETL処理とHadoop処理の統合ワークフロー
ローカル実行/MapReduce実行/Spark実行を定義するタグをサブジョブやタスクに対して設定できるようになり、ETL処理とHadoop処理を統合されたジョブとして定義できるようになりました。

Hive接続の拡張
1) 検索入力データソースとしても使用可能
2) タスクエディタからHiveテーブルを新規作成することが可能
3) Hive出力後にテーブル統計分析/カラム統計分析を実施するパラメータが追加
4) HiveのBoolean型カラムに対応
5) Apache Ranger認証に対応

入出力先の拡張
入出力データソースとして、HiveJDBC接続が追加されました。

「Syncsort DMExpress」および「Syncsort DMX-h」について


パフォーマンスに特化したソフトウェアを40年以上開発しているSyncsort社の“最も賢い超高速ETL”DMExpressは、データ結合やソート/マージ処理を伴うバッチ処理、またデータ・ウェアハウス、データ・マート構築時のデータ結合処理などのETL処理開発に威力を発揮するETLツールです。独自の高速処理アルゴリズム、並列処理などにより、システム資源を最大限に有効活用してバッチ処理時間を劇的に短縮します。メインフレーム環境からのダウンサイジング時に課題となる高速性と安定性を確保し、コモディティなオープン環境でもメインフレームと同等以上のパフォーマンスを実現します。アシストは、通信、金融、公共業界をはじめ3,500ライセンス、390社以上の導入実績を誇ります。また、「DMX-h」は、Hadoopフレームワーク上での並列分散処理を実現します。Map/Reduce処理をDMExpressのGUIで簡単に開発し、各Hadoopデータノードで稼動するC++ベースの「DMX-h」によって、Java、Pig、Hiveなどに比べて2~5倍の処理性能向上が得られます。

  • Syncsort社調べ

ニュースリリースに関するお問い合わせ


株式会社アシスト 広報部 担当:田口
TEL:03-5276-5850
URL:https://www.ashisuto.co.jp/contact/press/

「Syncsort DMExpress」および「Syncsort DMX-h」に関するお問い合わせ


株式会社アシスト 東日本技術本部 ビジネス推進部 担当:宇野
TEL:03-5276-3653
詳細URL:
Syncsort DMExpress
https://www.ashisuto.co.jp/product/category/etl/syncsort-dmexpress/
Syncsort DMX-h
https://www.ashisuto.co.jp/product/category/etl/syncsort-dmx-h/




※記載されている会社名、製品名は、各社の商標または登録商標です。
※ニュースリリースに記載された製品/サービスの内容、価格、仕様、お問い合わせなどは、発表日現在のものです。
 その後予告なしに変更されることがあります。あらかじめご了承ください。



上記リリースのPDF版は、以下のリンクよりダウンロードいただけます。


ページの先頭へ戻る