DevOpsユーザー会2023　開催報告（2023/9/28）

2023年9月28日（木）にアシスト主催の「DevOpsユーザー会」をオンラインで開催致しました。2022年にスタートし、今回が4回目となります。今回もOpen Text Corporationテスト自動化製品（UFT One、LoadRunner）をご利用のお客様を中心に30名の申し込みをいただきました。

今回は、「テスト自動化は何が難しい？テスト自動化を阻む壁について共に考える」をテーマに以下のアジェンダで開催しました。

インフォコム國生様、ライフネット生命保険原田様、吉本様、日本ナレッジ加藤様にはアシストに来社いただきました。

セッション1

テスト自動化のホップ、ステップ、ジャンプ

日本ナレッジ株式会社　加藤 大受様

最初のセッションは、長年ソフトウェア品質のエキスパートとして活躍されております日本ナレッジの加藤様よりご講演頂きました。

テスト自動化の定義、テスト自動化戦略の重要性、テスト自動化の
始め方や展開の仕方についてお話し頂きました。

セッション１　サマリ

◆テスト自動化とは
テスト自動化によって得られる価値は大きく5つある。「品質向上」「正確性向上」「生産性向上（プロセス改善）」「リソースの柔軟性」「品質の見える化」で、常にビジネス視点でテスト自動化を生かすことを重視する。

◆テスト自動化の戦略

一般的な自動テストでカバーされる品質を提示いただいた上でテスト時に性能と資源のデータを取得したり、テスト結果の統計情報を組み合わせることでカバーされる品質の範囲を増やすことが可能である。SaaSやパッケージ製品であれば製品開発の戦略、社内システム開発ではテスト計画の中で自動化すべきテストを計画立てることが重要である。

◆テスト自動化のホップ・ステップ・ジャンプ

◆テスト自動化の成熟度モデルの導入

ISO/IEC 33000をベースにテスト自動化の成熟度モデルを提示。

▲ アジェンダに戻る

セッション2

テスト自動化浸透への疑問を徹底討論

2つ目のセッションは、UFT Oneをご利用いただいておりますインフォコム國生様、ライフネット生命保険原田様、吉本様、アドバイザーとして日本ナレッジ加藤様によるテスト自動化の取り組みや課題について討論頂きました。

セッション２　サマリ

「テストツール」「設計」「プロセス変更」の観点で討論いたしました。

◆テスト自動化ツールの壁

ライフネット生命様

• モバイル実機のテストはセキュリティの観点から断念し、エミュレーターを使ったテストを実施。

• UFTが選択できるエミュレータの種類が少なかったため、設定ファイルを変更し、選択できるエミュレーターを増やして対応。

• 21本ある自動化スクリプトの夜間でのテスト実行自動化が今の課題。

• パラレルランナーの有効活用を模索している。

インフォコム様

• モバイルのバージョンアップサイクルが早く、UFTの追随が必要。頻繁にバージョンアップが必要。

• 社内環境（主にセキュリティ）の変更により、UFTが使えなくなることがあった。現在は解決。再発防止のノウハウを手順書かガイドとして残して対策している。

日本ナレッジ

• UFTは海外の事例も多いので、海外の掲示板を参照するのもよいと思う。

◆テスト設計の壁

ライフネット生命様

• なるべく網羅はしたいが全部はカバーは不可なのでどう絞るかを悩んだ。

• 人が手動でやるとめんどくさい操作やなるべく多くの画面を通るテストケース、かつスクリプトは増やし過ぎないように考えた。

インフォコム様

• 自動化シナリオの選定が難しく苦労していた。ユーザー利用想定の一般的なシナリオを選定した。

日本ナレッジ様

• まずはゴールデンパス（一番よく使われるユースケース）を押さえるのが基本。

• 人がやると手間がかかるテスト（権限によって表示が変わるなど）を選定するとよい。

• 不具合があると情報漏洩やトラブルにつながる機能は重点的に行う。

◆開発プロセス組み込みの壁

ライフネット生命様

何が出来るかを調べてどこに当てはめるかを考えた。コストを下げるよりは品質を上げることに視点を置いて考えた。

インフォコム様

導入前にデモを見てもらい、お客さんの理解を得た。部長自ら提案してくれたのが大きかった。

日本ナレッジ様

すごく難しいテーマ。コスト削減より時間を効率よく使うかを考えることが大事と考える。POCを行い、仲間を増やし、理解者を増やしていくことが重要。

▲ アジェンダに戻る

セッション3

テスト自動化分野でのAI活用

株式会社アシスト　高橋 成明

3つ目のセッションは、アシスト高橋よりテスト自動化におけるAI活用の可能性について言及しました。

生成AIを活用したコード生成からテストコード生成までの検証結果を報告すると共にAIベースオブジェクト認識を中心にUFT OneのAI連携について説明

セッション３　サマリ

◆AI活用を考える上で

AIを活用できる開発工程を考察し、「単体テスト」「結合テスト」「デプロイ」工程は、CI/CDにて自動化が可能なため検討外とし、「実装設計」「結合テスト」も人が対応するフェーズとして同様に検討外とした。
結果、「テスト設計」「コード実装」「テストコード実装」の3工程にて検討を行うこととした。

◆生成AI活用シーン

以下を前提としてコード生成、テストコード生成の検証結果を報告、

考察として、「コード実装」「テストコード実装」においては、開発補助ツールとして非常に有用であり、「テストケース生成」では、テスト観点の抜け漏れチェックで非常に有用と結論付けた。

◆UFT OneのAI連携

AIベースオブジェクト認識では、異なるプラットフォームやバージョンでも、人と同じような判断を行い、同じものを指していると認識し、実行を行うことができること。
（AndroidのメールアイコンとiPhoneのメールアイコンはデザインが異なるが、メールアイコンとして認識）AIモックアップ識別は、モックアップレベルの画面情報からEditやButtonなどのオブジェクトに検知し、スクリプトを生成することを報告。

▲ アジェンダに戻る

アンケート結果

9月度のユーザー会への満足度

ご参加いただいたお客様からのコメントを一部抜粋してご紹介します。

• ユーザ同士のセッションでは、環境や運用方法など知れて参考になりました。「テスト自動化」という観点では弊社環境は利用しておりませんが、悩みの部分には近い部分を感じました。（テストケースの品質の件など）。

• 各社の取り組みやその課題、直近のトレンドなど把握できました。

• 最初のセッション（日本ナレッジ 加藤様）が大変わかりやすかったです。

• テスト対象の機能要件を満たすための標準的なルールを整備する必要があると感じました。貴重なお話しをお聞かせいただき、誠にありがとうございました。

DevOpsを実現するために必要だと考えるプラクティス（ツール）は何ですか？

DevOpsを実現するために必要だと考えるプラクティス（ツール）は何ですか？

• 自動テスト（UFT）を組み込んだCI/CDやパイプライン

• オブザーバビリティに関してどのようなツールを使用し運用をされているかの討論があれば聞いてみたい

• 引き続き各社様のお取り組み事例と製品関連の最新＆活用情報をお聞きしたい

• VuGen(LoadRunner)を利用している他社ユーザ様がいらっしゃれば、お話しを聞いてみたい

アンケート結果から半数以上の方が次回以降も参加するとお答えくださいました。テーマ選定に関するアンケート結果を参考に更に皆様にとって有意義となるコンテンツを企画してまいります。

引き続きのご参加何卒よろしくお願いいたします。