ABテストのコントロールグループ [データサイエンス、統計モデル]
最近、行ったフィジビリについてのお話。
ABテストを行う上で、Aグループ(通常グループ)とBグループ(新ロジックグループ)を分けました。
ここで、ちょっとした問題が。
AグループとBグループを抽出し、そのリストを提出しましたが、どうも効果の差が怪しい。
色々調べた結果、AグループとBグループでリストが提出された後、その中からさらに対象者の剪定が行われていたため、効果に別のバイアスがかかってしまっていました。
基本的なことですが、もろもろリストの剪定を行い、最後の最後でABのグループに分けることが大切です。
そうすることで、初めて効果が純粋に測定できます。
リストを提出した後に、剪定作業があるのか、ないのか、基本的なことですが、、、
きちんと確認しておかないと、変なバイアスがかかったまま、フィジビリの効果を測定するってことになりかねないので、注意が必要ですね。。。
ABテストを行う上で、Aグループ(通常グループ)とBグループ(新ロジックグループ)を分けました。
ここで、ちょっとした問題が。
AグループとBグループを抽出し、そのリストを提出しましたが、どうも効果の差が怪しい。
色々調べた結果、AグループとBグループでリストが提出された後、その中からさらに対象者の剪定が行われていたため、効果に別のバイアスがかかってしまっていました。
基本的なことですが、もろもろリストの剪定を行い、最後の最後でABのグループに分けることが大切です。
そうすることで、初めて効果が純粋に測定できます。
リストを提出した後に、剪定作業があるのか、ないのか、基本的なことですが、、、
きちんと確認しておかないと、変なバイアスがかかったまま、フィジビリの効果を測定するってことになりかねないので、注意が必要ですね。。。