{あれ K#EDD2/0709}

追加でALBERTを教師なしSimCSEで学習してみている。

{あれ}{ALBERT}{教師なしSimCSE}(3)

{あれ K#EDD2/B5EA}

そういうわけで、ALBERTを教師なしSimCSEの後に教師ありSimCSEで学習したところ、ここまで学習できた。

{教師ありSimCSE}{ALBERT}{教師なしSimCSE}{Sentence Embedding}(4)

(14){あれ}{あれ}{あれ}{日本語ALBERT}{あれ}{あれ}{あれ}{あれ}{あれ}{ajinkyaT/albert-japanese-v2-finetuned-ner}

{ALBERT K#EDD2/B33A}

BERTを小さくしたやつ。でも性能はそのまま。と言われている。

{BERT}{Google}(2)

(2){あれ}{あれ}

{教師なしSimCSE K#EDD2/8F2A}

dropoutを使う

{dropout}{SimCSE}(2)

{

{}