ABテストのコントロールグループ

最近、行ったフィジビリについてのお話。

ABテストを行う上で、Aグループ（通常グループ）とBグループ（新ロジックグループ）を分けました。

ここで、ちょっとした問題が。

AグループとBグループを抽出し、そのリストを提出しましたが、どうも効果の差が怪しい。

色々調べた結果、AグループとBグループでリストが提出された後、その中からさらに対象者の剪定が行われていたため、効果に別のバイアスがかかってしまっていました。

基本的なことですが、もろもろリストの剪定を行い、最後の最後でABのグループに分けることが大切です。
そうすることで、初めて効果が純粋に測定できます。

リストを提出した後に、剪定作業があるのか、ないのか、基本的なことですが、、、
きちんと確認しておかないと、変なバイアスがかかったまま、フィジビリの効果を測定するってことになりかねないので、注意が必要ですね。。。