[MMM] causal impact の評価 その1 [時系列解析 / 需要予測]
calsal impactを使っている人がいるので、どれだけ使えるか実験をしました。
問題点1:減衰期間を設定できない(細かい設定ができない)
問題点2:アルゴリズムがブラックボックスであるため、上手く推定できているかの詳細な調査が難しい
問題点3:季節成分の設定ができない、また、出力速度を考えると、MCMCで推定しているわけではなさそう
時間:1〜100時点
①広告非実施期間:1〜60
②広告実施期間:61〜80
③広告非実施期間(CM残存期間):80〜100
実験1(CausalImpact)
①広告非実施期間と②広告実施期間でのみ実験を行い、③広告非実施期間を含めない
②の部分の広告効果
# 推定した累積効果: 36.8
# 実際の累積効果: 27.7
↑
過大評価をしているものの、大きな問題はなさそうである
実験2(CausalImpact)
①広告非実施期間と②広告実施期間に加え、③広告非実施期間をpost.periodに加える
本来、③の期間はliftが減衰して与えているものの、CausalImpactはその部分の検知がかなり弱い。
②+③の部分の広告効果
# 推定した累積効果: 53.5
# 実際の累積効果: 35.8
↑
減衰効果を与えないと、過大評価をしている可能性が高い
問題点1:減衰期間を設定できない(細かい設定ができない)
問題点2:アルゴリズムがブラックボックスであるため、上手く推定できているかの詳細な調査が難しい
問題点3:季節成分の設定ができない、また、出力速度を考えると、MCMCで推定しているわけではなさそう
時間:1〜100時点
①広告非実施期間:1〜60
②広告実施期間:61〜80
③広告非実施期間(CM残存期間):80〜100
実験1(CausalImpact)
①広告非実施期間と②広告実施期間でのみ実験を行い、③広告非実施期間を含めない
Average Cumulative
Actual 16 311
Prediction (s.d.) 14 (0.35) 275 (7.08)
95% CI [13, 14] [261, 289]
Absolute effect (s.d.) 1.8 (0.35) 36.8 (7.08)
95% CI [1.1, 2.5] [22.9, 50.4]
Relative effect (s.d.) 13% (2.9%) 13% (2.9%)
95% CI [7.9%, 19%] [7.9%, 19%]
Posterior tail-area probability p: 0.001
Posterior prob. of a causal effect: 99.8998%
②の部分の広告効果
# 推定した累積効果: 36.8
# 実際の累積効果: 27.7
↑
過大評価をしているものの、大きな問題はなさそうである
実験2(CausalImpact)
①広告非実施期間と②広告実施期間に加え、③広告非実施期間をpost.periodに加える
本来、③の期間はliftが減衰して与えているものの、CausalImpactはその部分の検知がかなり弱い。
Average Cumulative
Actual 15 598
Prediction (s.d.) 14 (0.33) 545 (13.21)
95% CI [13, 14] [520, 572]
Absolute effect (s.d.) 1.3 (0.33) 53.5 (13.21)
95% CI [0.67, 2] [26.69, 79]
Relative effect (s.d.) 9.9% (2.7%) 9.9% (2.7%)
95% CI [4.7%, 15%] [4.7%, 15%]
Posterior tail-area probability p: 0.001
Posterior prob. of a causal effect: 99.8998%
②+③の部分の広告効果
# 推定した累積効果: 53.5
# 実際の累積効果: 35.8
↑
減衰効果を与えないと、過大評価をしている可能性が高い