[MMM] causal impact の評価 その3

CTLとなる時系列とTGとなる時系列を用意し、CausalImpactを使いましたが、あまり精度は高くない。
個人的には、stan（MCMC）の方が精度が良いと感じていますが・・・

試しに過去のデータを使い2つの実験を行いました。

実験1: type Ⅰエラーの確認
時系列に効果を与えない時に効果なしとなるか。
つまり、広告を実施している仮想の期間を与えます。
実際には何もしていないので、期待されるリフトは0になるはずですね。

実験2: type Ⅱエラーの確認
効果を与えた時に効果が検出できるか。
過去、広告を実施してないので、仮にx%のリフト効果を時系列与えます。
そして、x%のノイズを検知できるかどうか。

→ causal impactの結果は、正しく検出できず。
一方、stan（MCMC）は実験1と実験2とも正しい結果を得ることができました。

causal impactは、さまざまな制約をおいた上で定式化をしていると思います。
その制約が満たされない時系列の場合、当然、正しい結果は得られません。

少し面倒かもしれませんが、きちんと定式化をすることが大切だと感じています。

〜 過去の実験 〜
[MMM] causal impact の評価 その1
https://skellington.blog.ss-blog.jp/2023-04-24

[MMM] causal impact の評価 その2
https://skellington.blog.ss-blog.jp/2023-04-25