Dark Knowledge

G. Hintonの"Dark knowledge"のスライドが非常に興味深いので,数式多めにメモ. 通常,多クラス識別での交差エントロピー(cross entropy) は と定義されます.ここで, (は規格化項)ではtrue label(正解クラスなら,他は0)です. 一度 を最小化する訓練(har…