数理計画を実施した後のABテストの注意点 〜その1 コントロールグループ

よく施策が有効かどうかをABテストを実施して確認することが多いです。
単にMLや統計モデルのABテストだとそれほどややこしくはないですが、数理計画を実施すると少しややこしくなるので注意が必要。

例えば、クーポンやポイントを付与するかどうかをMLを使って判断する場合、コントロールグループをどう設計するかです。

まずは、コントロールグループの取扱い。

全データ
┗ CTLグループ（全員、一律）
┗ テストグループ（付与する人と付与しない人がいる）

MLの効果を判断する際に、うっかりやってしまう間違いとして

うっかりする間違い
・CTL（CTLグループ + テストグループのCTL）
・テストグループで付与する人

正しい計測方法
・CTL（CTLグループ）
・テストグループ（テストグループで付与する人 + テストグループのCT）

↑
この様に書くと、当たり前のようにみえるのですが、テストが複雑になってくると、うっかりやってしまうので注意が必要。
・CTL
・テスト1
・テスト2
・テスト3

特に、数理計画などが絡んでくる場合、どう設計するかは複数の視点でレビューしたほうが良いかと思います。