[MMM] causal impact の評価 その1

calsal impactを使っている人がいるので、どれだけ使えるか実験をしました。
問題点1：減衰期間を設定できない（細かい設定ができない）
問題点2：アルゴリズムがブラックボックスであるため、上手く推定できているかの詳細な調査が難しい
問題点3：季節成分の設定ができない、また、出力速度を考えると、MCMCで推定しているわけではなさそう



時間：1〜100時点
①広告非実施期間：1〜60
②広告実施期間：61〜80
③広告非実施期間（CM残存期間）：80〜100

実験1（CausalImpact）
①広告非実施期間と②広告実施期間でのみ実験を行い、③広告非実施期間を含めない

                         Average       Cumulative  
Actual                   16            311         
Prediction (s.d.)        14 (0.35)     275 (7.08)  
95% CI                   [13, 14]      [261, 289]  
                                                   
Absolute effect (s.d.)   1.8 (0.35)    36.8 (7.08) 
95% CI                   [1.1, 2.5]    [22.9, 50.4]
                                                   
Relative effect (s.d.)   13% (2.9%)    13% (2.9%)  
95% CI                   [7.9%, 19%]   [7.9%, 19%] 

Posterior tail-area probability p:   0.001
Posterior prob. of a causal effect:  99.8998%

②の部分の広告効果
# 推定した累積効果: 36.8
# 実際の累積効果: 27.7
↑
過大評価をしているものの、大きな問題はなさそうである
実験2（CausalImpact）
①広告非実施期間と②広告実施期間に加え、③広告非実施期間をpost.periodに加える


本来、③の期間はliftが減衰して与えているものの、CausalImpactはその部分の検知がかなり弱い。

                         Average       Cumulative  
Actual                   15            598         
Prediction (s.d.)        14 (0.33)     545 (13.21) 
95% CI                   [13, 14]      [520, 572]  
                                                   
Absolute effect (s.d.)   1.3 (0.33)    53.5 (13.21)
95% CI                   [0.67, 2]     [26.69, 79] 
                                                   
Relative effect (s.d.)   9.9% (2.7%)   9.9% (2.7%) 
95% CI                   [4.7%, 15%]   [4.7%, 15%] 

Posterior tail-area probability p:   0.001
Posterior prob. of a causal effect:  99.8998%

②+③の部分の広告効果
# 推定した累積効果: 53.5
# 実際の累積効果: 35.8
↑
減衰効果を与えないと、過大評価をしている可能性が高い