アップリフトモデルを作るコツと注意点7 機械学習のモデル（ニューラルネットワーク）を使う失敗例

アップリフトモデルを作るコツと注意点をまとめたいと思います。
複数回にわたり機械学習モデルを見ていきます。
今回は、ニューラルネットワークを使い予測モデルを構築していきたいと思います。

いくつパラメータを変更して予測モデルを作りました。
■ モデル1


■ モデル2（ブースティング）


■ モデル3（バギング）


2つ目、3つ目は、ブースティンやバギングを行った予測モデルとなっています。
1つ目は、単純なモデルです。

皮肉なことに、1つ目の結果が実測値に一番近い結果となっています。

ここで、ゲインチャートを書いてみると、それぞれのモデルはほとんど同じ結果となっています。


精度分析をしても、同じ結果となっています。
モデル AUC Gini
モデル1 0.672 0.344
モデル2 0.666 0.333
モデル3 0.675 0.350

しかし、実際どのように予測したかといった感度分析を行ってみると、それぞれ3つのモデルはけっこう違う予測モデルをしていることが分かります。

機械学習モデルを使ったアップリフトをモデルを使う場合、本来は、精度の比較だけでは物足りなくて、感度分析などを行い、どういう予測を行っているか、変な予測を行っていないかを行う必要があります。

また、精度は同程度であっても、それぞれ予測が間違えている個所は異なります。
どこを正確に予測出来ており、どこの予測が間違えているのかも合わせてチェックしていく必要がありそうです。

～その他の記事～
アップリフトモデルを作るコツと注意点
1. アップリフトモデルとは
https://skellington.blog.ss-blog.jp/2019-11-12

2. アップリフトモデルを作るコツと注意点2 単純なロジスティック回帰を使う失敗例
https://skellington.blog.ss-blog.jp/2019-11-13

3. アップリフトモデルを作るコツと注意点3 2つの予測モデルを使う失敗例
https://skellington.blog.ss-blog.jp/2019-11-14

4. アップリフトモデルを作るコツと注意点4 交互作用ありのモデルを使う失敗例
https://skellington.blog.ss-blog.jp/2019-11-15

5. アップリフトモデルを作るコツと注意点5 機械学習のモデル（SVM）を使う失敗例
https://skellington.blog.ss-blog.jp/2019-11-16

6. アップリフトモデルを作るコツと注意点6 機械学習のモデル（決定木）を使う失敗例
https://skellington.blog.ss-blog.jp/2019-11-17

7. アップリフトモデルを作るコツと注意点7 機械学習のモデル（ニューラルネットワーク）を使う失敗例
https://skellington.blog.ss-blog.jp/2019-11-18

8. アップリフトモデルを作るコツと注意点8 階層ベイズロジットモデル
https://skellington.blog.ss-blog.jp/2019-11-19