速報！AWS re:Invent 2022で発表されたデータベース＆データ分析系新機能まとめ（Vol.1）

~ 坂本プロが現地からお届けします ~

毎年数多くの新機能が発表される、AWSのre:Inventが今年もスタートしました！
弊社（アシスト）の社員も、イベント会場であるラスベガスへ飛んでおります。現地から仕入れたばかりの新機能情報の速報をデータベースとデータ分析系を中心に、全2回でお届けします。
執筆は、2022 APN AWS Top Engineersにも選出された坂本雄一が担当します。
※今回は前半（現地11/28、11/29）で入手できた情報の範囲を対象としています。

[連載一覧] re:Invent参加レポート
・速報！AWS re:Invent 2022で発表されたデータベース＆データ分析系新機能まとめ（Vol.1）　★本記事
・速報！AWS re:Invent 2022で発表されたデータベース＆データ分析系新機能まとめ（Vol.2）
・AWS re:Invent 2022参加レポート（番外編）

AWS re:InventはAWS 最大のラーニングカンファレンスで、毎年ラスベガスで開催されています。ここ数年は世界的なパンデミックの影響でオンライン中心でしたが、今年は世界中から約4万人、日本からも約1000名が現地で参加して大いに盛り上がっています！

受付の様子

何かを決意した表情の弊社社員

まだまだ遠慮気味の「アシスト」。ぜび、見つけてあげてください。

現地11/30時点で2つのKeynoteが実施され、今年もAWSのCEOであるAdam SelipskyのKeynoteでは、多くの新機能が発表されました。
まずはKeynoteで発表された主な新機能（DB＆Analytics系関わらず）をご紹介します。

開始直前まで、ロックバンドが盛上げます。

颯爽と登場するAdam Selipsky氏。会場のボルテージは最高潮に。

最初に大きな拍手がわいたのが「AWS DataZone」でした。これは「データカタログ」を提供するマネージドサービスです。ガバナンスとアクセス制御によって、大規模データを共有することが可能です。ビジネス用語を使ったビジネスデータカタログ機能に、大いに期待しています（残念ながら、現時点では日本語未対応ですが。。）。

公式）https://aws.amazon.com/jp/datazone/

Keynote会場から最も大きな「おぉ（Oh…！）」という声が多数漏れたのが「AWS Supply Chain」です。AWSからついにSCMサービスもリリースされるのか、という驚きでしょう。サプライチェーン全体を迅速に可視化し、機械学習によってサプライチェーンに関する意思決定を支援します。Amazon.comのサプライチェーンの経験に基づいた洞察を利用できることは大きな魅力になりそうです。

公式）https://aws.amazon.com/jp/about-aws/whats-new/2022/11/aws-supply-chain-preview/

AWSはもちろん、オンプレミスを含めたあらゆるセキュリティログをデータレイクで一元管理、分析できる「Amazon Security Lake」が発表されました。ログはOCSF（Open Cybersecurity Schema Framework)というオープンな形式が用いられAmazon S3にApache Parquet形式で保持されるため、Amazon Athenaなどを用いて簡単に分析できます。これまで以上に、セキュリティログを容易に管理、分析できるようになりそうです。

公式）
https://aws.amazon.com/blogs/aws/preview-amazon-security-lake-a-purpose-built-customer-owned-data-lake-service/

データクリーンルームとは、個人情報をクレンジングし、プライバシー保護下の環境で複数ユーザーでデータを共有利用できる環境です。AWS Clean Roomsを利用すると、データクリーンルームを簡単・安全に作成し、クリーンになったデータはS3に保存されるため、他企業ともデータ共有できます。データクリーンルームを手早く作成し、マーケターの顧客分析促進に役立つでしょう。

公式）
https://aws.amazon.com/jp/clean-rooms/

上記以外にも多くの新機能が発表されました。
その中から、データベース系、Analytics系に関するものは以下にてご紹介させていただきます。

最適化された書き込みでは、追加費用なしで書き込み性能を最大で2倍向上させることができます。MySQLは、「二重書き込みバッファ」と呼ばれる機能によって電源障害などが発生した際にデータを保護します。一方で、この機能によりデータベースのスループットとパフォーマンスが低下してしまう側面もありました。今回のアップデートでは、書き込みは一度だけ行われ、RDS for MySQL での書き込みトランザクションのスループットが最大 2 倍向上します。
※アジアパシフィック (東京)で利用可能です。

最適化された読み取りでは、MySQLによって生成された一時テーブルを、高速なSSDに配置することによりクエリの処理を高速化します。ソート、ハッシュ集計、負荷の高い結合などの一時テーブルを利用するクエリは、最大で50%の高速化が見込めます。
※アジアパシフィック (東京、大阪)で利用可能です。

公式）
https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-rds-optimized-writes-2x-higher-write-throughput-no-cost/
https://aws.amazon.com/jp/blogs/aws/new-amazon-rds-optimized-reads-and-optimized-writes/

これまで、AuroraやRDSでブルー/グリーンデプロイを実施する場合、クローンやレプリカ等複数の機能を組み合わせて行う必要があったため、手順が多く手間がかかりました。今回のアップデートにより、AuroraやRDSのデータベースに対し、簡単な操作かつ短時間でブルー/グリーンデプロイが実施できるようになりました。具体的には、本番データベースに対しスキーマ変更やバージョンアップ等を実施する際、操作ミスの可能性を低減し、かつメンテナンス時間を最小限に抑えることができます。
※アジアパシフィック (東京、大阪)で利用可能です。

公式）
https://aws.amazon.com/blogs/aws/new-fully-managed-blue-green-deployments-in-amazon-aurora-and-amazon-rds/

DMSの機能で、スキーマの評価および変換が行えるようになりました。これまでのDMSによるデータベース移行では、スキーマ評価および変換を行うにはAWS Schema Conversion Tool(SCT)をダウンロードして実行する必要がありました。今回のアップデートにより、SCTをダウンロードせずにマネジメントコンソール上の操作でスキーマ評価および変換が行えるようになりました。
※アジアパシフィック (東京)で利用可能です。

公式）
https://aws.amazon.com/jp/blogs/aws/new-a-fully-managed-schema-conversion-in-aws-database-migration-service/

これまでEC2やRDS、S3のバックアップには対応していたAWS Backupですが、Redshiftのバックアップもサポート対象となりました。これによってEC2などの他のAWSサービスとあわせてバックアップを取得し、一元的に管理することが可能となり、運用コストの低減が期待できます。

参考）
https://aws.amazon.com/jp/blogs/aws/new-amazon-redshift-support-in-aws-backup/

AuroraとRedshift間でETL処理なしでデータ連携をする機能が発表されました。通常、AuroraからRedshiftにデータ連携をする際は、GlueなどのETLサービスを利用しデータパイプライン（連携処理）を構築する必要がありましたが、この機能を利用することによって、より簡単にAuroraのデータをRedshiftで扱えるようになります。基幹データベースでAuroraを利用し、DWHにRedshiftを利用している場合にはデータ鮮度の向上やETL開発の省略など様々な効果が期待できます。

公式)
https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/

Redshift、およびRedshift ServerlessにApache Sparkが統合され、SparkアプリケーションをRedshift上から手軽に構築できるようになりました。従来は、GlueやEMRなどからRedshiftのデータを取り扱う際はApache Sparkコネクタを利用する必要がありましたが、その手間が軽減されました。

公式）
https://aws.amazon.com/jp/blogs/aws/new-amazon-redshift-integration-with-apache-spark/

これまで、Analytics系の数多くのサービスがサーバレスとしてリリースされてきましたが、Amazon OpenSearchのサーバレス版であるAmazon OpenSearch Serverlessが発表されました。Amazon OpenSearch Serverlessを利用することで、クラスタの管理負荷の削減や、コストの最適化が期待できます。

公式）
https://aws.amazon.com/jp/blogs/aws/preview-amazon-opensearch-serverless-run-search-and-analytics-workloads-without-managing-clusters/

QuickSightにてページ分割されたレポートを作成する機能が追加されました。「ページ分割されたレポート」とは、印刷または共有されることを想定したレポートのことであり、データが複数のページにまたがるため、このように呼ばれます。BIの製品などではこの機能が提供されていることも多く、QuickSightでも同様のことができるようになりました。

公式）
https://aws.amazon.com/jp/blogs/aws/new-amazon-redshift-integration-with-apache-spark/

Quicksight Qは自然言語クエリを提供するサービスです。例えば「去年の11月と今年の11月を比較してA店の売上はどれだけ伸びた？」という問いかけを与えることで、QuickSight側が自然に目的にあったグラフを表示してくれます。今回のアップデートではさらに機械学習を用いた「予測」が可能になりました。これによって、「来年3月までの全社の売上はどうなる？」という問いかけを与えることで、これまでの実績や様々な要因を加味したうえで、2023年3月までの売上を予測してくれます。

※現在はアジアパシフィック (東京、大阪）未対応です。

サーバレスなETLサービスを提供するAWS Glueのバージョン4.0がリリースされました。Glue 4.0はエンジンとしてApache Spark 3.3.0とPython 3.10が提供されます（Glue 3.0ではApache Spark3.1.1とPython3.7を提供）
機能として、Spark 用のCloud Shuffleサービスプラグインのサポート、Pandasのサポート、新しいデータ形式（Apache Hudi、Apache Iceberg、Delta Lake）のサポートが追加されました。また、機能追加だけでなく、パフォーマンスと信頼性も向上しているため、今後新たに作成するETL処理はGlue 4.0で作成するとよいかもしれません。

※日本では、アジアパシフィック (東京、大阪)で利用可能です。
公式）
https://aws.amazon.com/blogs/aws/new-aws-glue-4-0-new-and-updated-engines-more-data-formats-and-more/

明日（現地）からいよいよre:Inventも後半戦です！
2回目もお楽しみに！

筆者（イベントでいただいたパーカー着用にて）