はじめに

機械学習の分類において、作成した予測モデルを評価する際に混同行列（Confusion Matrix）を用いることがあります。
VerticaはCONFUSION_MATRIX関数を利用するとConfusion Matrixによる評価を行えます。

CONFUSION_MATRIX

コマンド構文

SELECT CONFUSION_MATRIX ( target‑column, predictions
                   [ USING PARAMETERS num_classes=num‑classes ] )
                 OVER()

Vertica 9.2から、INTEGER型だけでなく、BOOLEAN型、CHAR/VARCHAR型の入力データもサポートされ、分類アルゴリズムでも利用できるようになりました。

利用例

例として以下のロジスティック回帰を使用して作成した車のオートマ/マニュアルの予測モデル(logistic_reg_mtcars)の予測結果を評価します。
am列が正解情報、PredectionがVerticaが予測した結果です。
※0=オートマ、1=マニュアル

dbadmin=> SELECT car_model, am, PREDICT_LOGISTIC_REG(cyl, wt
dbadmin(>                       USING PARAMETERS model_name='logistic_reg_mtcars')
dbadmin->                       AS Prediction FROM mtcars_test;

   car_model    | am | Prediction
----------------+----+------------
 AMC Javelin    |  0 |          0
 Camaro Z28     |  0 |          0
 Datsun 710     |  1 |          1
 Honda Civic    |  1 |          1
 Hornet 4 Drive |  0 |          0
 Maserati Bora  |  1 |          0
 Merc 280       |  0 |          0
 Merc 450SL     |  0 |          0
 Porsche 914-2  |  1 |          1
 Toyota Corona  |  0 |          1
 Valiant        |  0 |          0
 Volvo 142E     |  1 |          0
(12 rows)

CONFUSION_MATRIX関数を利用し、上記の予測結果を評価します。
事前準備として、予測結果の呼び出しを簡素化するために、上記SQLをビューとして登録しておきます。

dbadmin=> CREATE VIEW mtcars_predict_results AS
dbadmin->   (SELECT car_model, am, PREDICT_LOGISTIC_REG(cyl, wt
dbadmin(>                         USING PARAMETERS model_name='logistic_reg_mtcars')
dbadmin(>                         AS Prediction FROM mtcars_test);
CREATE VIEW

作成したmtcars_predict_resultsビューに対してCONFUSION_MATRIX関数を実行します。

dbadmin=> SELECT CONFUSION_MATRIX(obs::int, pred::int USING PARAMETERS num_classes=2) OVER()
dbadmin->         FROM (SELECT am AS obs, Prediction AS pred FROM mtcars_predict_results) AS prediction_output;

 actual_class | predicted_0 | predicted_1 |                   comment
--------------+-------------+-------------+---------------------------------------------
            0 |           6 |           1 |
            1 |           2 |           3 | Of 12 rows, 12 were used and 0 were ignored
(2 rows)

上記結果から以下のことが読み取れます。
○　オートマの車種を正しく「オートマ」と予測した件数：6件
×　オートマの車種を誤って「マニュアル」と予測した件数：1件
×　マニュアルの車種を誤って「オートマ」と予測した件数：2件
○　マニュアルの車種を正しく「マニュアル」と予測した件数：3件

参考情報

CONFUSION_MATRIX
https://www.vertica.com/docs/9.2.x/HTML/Content/Authoring/SQLReferenceManual/Functions/MachineLearning/CONFUSION_MATRIX.htm

検証バージョンについて

この記事の内容はVertica 9.1、9.2で確認しています。

更新履歴

2019/07/09　Vertica 9.2の情報を追加
2018/11/09　本記事を公開