Average Precision（平均適合率）とは [データサイエンス、統計モデル]
KDD Cup（Knowledge Discovery and Data Mining Cup）にエントリーした。
スコアの評価方法は、適合率 (Precision) と再現率 (Recall)など、いろいろあるけど、今回のスコアの評価方法は、Average Precision（平均適合率）と呼ばれるもので測定するみたいだ。
Average Precisionってことだが、定義は、
ap@n = Σ k=1,...,n P(k) / (number of items clicked in m items)
これでは、分かり難いけど、具体的な例が載っていた。
モデルAの評価
AP(A)=(1/1+2/2+3/4)×1/3≒0.92
モデルBの評価
AP(B)=(1/1+2/4+3/8)×1/3≒0.62
モデルAとモデルBを比較すると、モデルAの方が早い段階でヒットしているので、モデルAの方が良いモデルってことになります。
実際、モデルAの方のスコアが高いですね。
スコアの評価方法は、適合率 (Precision) と再現率 (Recall)など、いろいろあるけど、今回のスコアの評価方法は、Average Precision（平均適合率）と呼ばれるもので測定するみたいだ。
Average Precisionってことだが、定義は、
ap@n = Σ k=1,...,n P(k) / (number of items clicked in m items)
これでは、分かり難いけど、具体的な例が載っていた。
| Item(i) | modelA Hit |
modelA p(i) |
modelA ⊿r(i) |
modelB Hit |
modelB p(i) |
modelB ⊿r(i) |
| 1 | 1 | 1/1 | 1/3 | 1 | 1/1 | 1/3 |
| 2 | 1 | 2/2 | 1/3 | 0 | 1/2 | 0 |
| 3 | 0 | 2/3 | 0 | 0 | 1/3 | 0 |
| 4 | 1 | 3/4 | 1/3 | 1 | 2/4 | 1/3 |
| 5 | 0 | 3/5 | 0 | 0 | 2/5 | 0 |
| 6 | 0 | 3/6 | 0 | 0 | 2/6 | 0 |
| 7 | 0 | 3/7 | 0 | 0 | 2/7 | 0 |
| 8 | 0 | 3/8 | 0 | 1 | 3/8 | 1/3 |
| 9 | 0 | 3/9 | 0 | 0 | 3/9 | 0 |
| 10 | 0 | 3/10 | 0 | 0 | 3/10 | 0 |
モデルAの評価
AP(A)=(1/1+2/2+3/4)×1/3≒0.92
モデルBの評価
AP(B)=(1/1+2/4+3/8)×1/3≒0.62
モデルAとモデルBを比較すると、モデルAの方が早い段階でヒットしているので、モデルAの方が良いモデルってことになります。
実際、モデルAの方のスコアが高いですね。
コメント 0