dbcliコマンドを用いたバックアップ失敗時のトラブルシューティング

Oracle Cloud Infrastructure - Databaseでは独自の機能として、Oracle Databaseの自動バックアップ取得機能が用意されています。

内部的にはRecovery Manager（以下、RMAN）が利用されており、インスタンス作成時/作成後に簡単に設定ができるのですが、今回は設定方法ではなくエラー発生時の調査ノウハウを中心にご紹介します。

Webコンソール上でのバックアップ取得状況確認

自動バックアップに関する情報や取得されたバックアップの一覧は、Webコンソールの「ベア・メタル、VMおよびExadata」より該当のDBシステムを選択し、「データベースの詳細」を選択することで確認が可能です。

さらに、情報の確認だけでなく、取得したバックアップから新規データベースの構築(「データベースの作成」を選択)や手動でのバックアップを取得(「バックアップの作成」を選択)することができます。

OCIコンソール

Webコンソール上のインフォメーションを確認する

画面を確認したところ、ある日より自動バックアップが失敗しているようです…。
原因を追求するため、トラブルシューティングを開始します。

失敗しているバックアップの『i』をクリックすると、バックアップの失敗に関するインフォメーションを確認できます。

OCIコンソール

インフォメーションに記載されているドキュメントでは障害の原因を特定し、問題を解決するのに役立つ情報が纏まっています。
また、場合によっては以下のように『i』マークをクリックしての内容を確認するだけで、原因を特定可能な場合もあります。

1.インスタンスは起動しているがデータベースが動いていない場合
※RMANのバックアップは、データベースが動いていないと取得できません。

2.データベースがノーアーカイブログモードとなっている場合
※構築時はアーカイブログモードで作成されますが、後からユーザーが手動でノーアーカイブログモードにすることが可能です。但し、ノーアーカイブログモードの場合RMANのバックアップが失敗します。

今回は原因の特定までは至っていないため、上記ドキュメント内の問題の特定手順に従って、dbcliコマンドを用いたトラブルシューティングを進めます。

dbcliコマンドを使って原因の調査を行う

①インスタンスへの接続とディレクトリの移動

まずはインスタンスにrootユーザで接続し、dbcliコマンドが配置されている /opt/oracle/dcs/bin/ ディレクトリに移動します。

　
　
　[root@testinst opc]# cd /opt/oracle/dcs/bin/
　[root@testinst bin]#
　[root@testinst bin]# ls -la | grep dbcli
　-rwx------  1 root root      817 Jan 30 10:03 dbcli

②ジョブ実行履歴の確認

続いて以下のコマンドを利用して、インスタンス上で実施されたジョブの実行履歴を確認します。grepを用いてDB名で絞り込みを行うと、検索結果の確認が簡単になります。
※表示の都合上、改行を入れています。

　
　[root@testinst bin]# ./dbcli list-jobs | grep -i ＜DB名＞
　75835e6c-0068-4911-a917-55cf1c7f5a86  update database : ＜DB名＞
　     March 30, 2020 2:37:59 AM UTC       Success
　f8f823dd-283a-4ef6-9842-5842617d5fc3  Create Regular-L0 Backup with 
　     TAG-DBTRegular-L01585535259759AKi for Db:＜DB名＞ in OSS:
　     bWxCB6QtKnboT7FHt0Qg March 30, 2020 2:40:56 AM UTC       Success
　885fb915-bb72-430d-b5b6-c88c13b18d03  Delete Backup for Database name: ＜DB名＞_nrt1jx
　     March 30, 2020 2:44:50 AM UTC       Success
　
　＜中略＞
　
　5fcc496f-dc4b-4fc4-bd2b-32577be961df  Create Regular-L1 Backup with 
　     TAG-DBTRegular-L11585849368496lOX for Db:＜DB名＞ in OSS:
　     bWxCB6QtKnboT7FHt0Qg April 2, 2020 5:53:05 PM UTC        Success
　82654a4c-f89b-4e3e-a325-95a46750012e  Delete Backup for Database name: ＜DB名＞_nrt1jx
　     April 2, 2020 5:56:19 PM UTC        Success
　c70a19cb-5774-479b-9488-20f624d18ee0  Create Regular-L1 Backup with 
　     TAG-DBTRegular-L1158593579696566k for Db:DB0330 in OSS:bWxCB6QtKnboT7FHt0Qg
　     April 3, 2020 5:44:01 PM UTC        Failure
　fe8f9449-02ed-430b-8bb7-262b13118d4a  Create Regular-L0 Backup with 
　     TAG-DBTRegular-L01586022263680dj1 for Db:DB0330 in OSS:bWxCB6QtKnboT7FHt0Qg
　     April 4, 2020 5:45:35 PM UTC        Failure  ★

上記コマンドを実行した結果、ジョブのステータスがFailureで終わっているものが見つかりました。

③失敗したジョブの詳細を確認

続いて、失敗したジョブのID(今回の場合は「fe8f9449-02ed-430b-8bb7-262b13118d4a」)を指定してジョブの詳細を確認します。
※表示の都合上、改行を入れています。

　
　root@testinst bin]# ./dbcli describe-job -i fe8f9449-02ed-430b-8bb7-262b13118d4a
　 
　Job details
　----------------------------------------------------------------
　           ID:  fe8f9449-02ed-430b-8bb7-262b13118d4a
　  Description:  Create Regular-L0 Backup with TAG-DBTRegular-L01586022263680dj1
　                for Db:DB0330 in OSS:bWxCB6QtKnboT7FHt0Qg
　       Status:  Failure
　      Created:  April 4, 2020 5:45:35 PM UTC
　      Message:  DCS-10045:Validation error encountered: Window mismatch of 
　                backupconfig(30) and db recovery window(7). ★
　 
　Task Name                          Start Time                     End Time                       Status
　---------------------------------- ------------------------------ ------------------------------ ----------
　task:TaskZLockWrapper_7693         April 4, 2020 5:45:39 PM UTC   April 4, 2020 5:46:15 PM UTC   Failure
　task:TaskSequential_7694           April 4, 2020 5:45:39 PM UTC   April 4, 2020 5:46:14 PM UTC   Failure
　Validate backup config             April 4, 2020 5:45:39 PM UTC   April 4, 2020 5:45:39 PM UTC   Success
　Validate opc_pfile configuration   April 4, 2020 5:45:39 PM UTC   April 4, 2020 5:45:39 PM UTC   Success
　Database container validation      April 4, 2020 5:45:39 PM UTC   April 4, 2020 5:45:39 PM UTC   Success
　libopc existence check             April 4, 2020 5:45:39 PM UTC   April 4, 2020 5:45:39 PM UTC   Success
　Backup Validations                 April 4, 2020 5:45:39 PM UTC   April 4, 2020 5:46:06 PM UTC   Success
　Recovery Window validation         April 4, 2020 5:46:06 PM UTC   April 4, 2020 5:46:14 PM UTC   Failure

詳細を確認するとMessageより以下のエラーが発生している事が確認できました。

「DCS-10045:Validation error encountered: Window mismatch of backupconfig(30) and db recovery window(7).」

本エラーは、Oracle Cloud Infrastructureで定められているRMAN構成設定(今回はRMAN保存ポリシー)を変更したことにより発生していました。詳細はこちらのマニュアル「RMAN Configuration and Backup Failures」をご確認下さい。
※RMAN構成設定を元に戻すことにより、正常にバックアップを取得可能になります。

まとめ

今回はdbcliコマンドを用いたバックアップ失敗時の原因調査手順をご紹介しました。
本ケースはRMANの設定変更が原因でしたが、他にも様々な原因によって自動バックアップが失敗する可能性があります。

そういった際に、今回紹介したdbcliコマンドを用いた調査で原因が追求可能な場合がありますので、ぜひご活用ください。

原田拓朗

2015年にアシストに入社後、Oracle DatabaseやOracle Cloudを中心としたフィールド技術を担当。
導入支援だけではなく、最新機能の技術検証も積極的に実施。社内外のイベントにて発表も行っている。...show more

■本記事の内容について
　本記事に示した定義及び条件は変更される場合があります。あらかじめご了承ください。

■商標に関して
　・Oracle®、Java、MySQL及びNetSuiteは、Oracle、その子会社及び関連会社の米国及びその他の国における登録商標です。
　・Amazon Web Services、AWS、Powered by AWS ロゴ、[およびかかる資料で使用されるその他の AWS 商標] は、Amazon.com, Inc. またはその関連会社の商標です。
　　文中の社名、商品名等は各社の商標または登録商標である場合があります。