Item Recommendation from Implicit Feedback

評価指標の選び方

検索

OK: Precision, Recall, AP(average precision), NDCG
NG: AUC

ユーザーは上位のitemしか探索しないため

検索の結果を直接表示させるケース

OK: NDCG, AP
NG: Precision, Recall

1位と2位の違いを明確につけるため

検索後にリランクをするケース

OK: Recall
NG: NDCG, AP

上位N個までに候補が入っていれば良いため

Loss Function

Pointwise Loss

$\alpha$ : confidence(weight)

$l$ : each items loss

$\lambda$ : regularization(e.g., square, logistic, hinge)

レコメンドを2値分類タスクに落とし込むパターン。 $O(|C||I|)$ と計算量が膨大になる

アルゴリズム例: iALS, SLIM, iCD

Pairwise Loss

検索においては、1/0の判定よりも相対的な順序が重要。特定のcontextにおけるitemペアを比較する。

$O(|S||I|)\supseteq O(|C||I|)$ となるため、少なくともpointwise training以上の計算量となる

Softmax Loss

確率的な観点でいうと、Pointwise trainingやpairwise trainingは条件付き確率として落とし込むことができる。

例)

$p(i=true/c)=\sigma(\hat{y}(i|c))$
$p(i>j|c)=p(\hat{y}(i|c) >\hat{y}(j|c)) = \sigma(\hat{y}(i|c) - \hat{y}(j|c))$

条件付き多項分布のイベント $p(i|c)$ に対して、softmaxを利用して以下の式で表現できる。( $\hat{y}$ によって実数値に変換されている)

softmaxの分子はpartition functionと呼ばれている
$\nu$ : temperature parameter. この値が小さい場合は均等分布に、大きい値の場合は大きい値に集中する

負の対数尤度として以下の損失関数を得られる

contextごとにpartition functionを計算しておけば、pointwiseの計算量である $O(|C||I|)$ と同等になる。（pair計算が不要になるため。）

学習アルゴリズム(サンプリング)

Pointwise Loss

$(c,s){\in}S$ はpositive, それ以外はnegativeとみなす。positiveは有用であるが、negativeによる損失への影響は小さくなるように重み付けされる。

$q$ : サンプリング分布

$\tilde{a}$ : 重み

顧客は無作為に商品を選別することはなく、検討する可能性が高いアイテムをサンプリングすることで有用な学習を実現できる。人気順のサンプリングは一般的なアプローチとなりうる。

更新処理においては、1回の計算をそれぞれ繰り返すのではなくbatchで行うことが多い。これによるメリットとしては、(c1,i1),(c2,i2)がpositive sampleであった場合に、対応する(c1, i2),(c1, i3)をnegative sampleと扱うように。これによりwall timeを軽減することができる。