Sentence Embeddingの学習方法
{あれ}{SimCSE}(2)
t_w
{あれ K#EDD2/770F}
学習方式も「教師なしSimCSE」から「教師ありSimCSE」変えたのでValidation Lossがちゃんと下がりよるわ
気分がよい
{ALBERT}{SimCSE}(2)t_w
{あれ K#EDD2/C758}
ALBERTをSimCSEの学習させとるけど、Wikipediaのデータを20 epoch回すには1000時間かかるらしい
{GTX 1070 Ti}{ALBERT}{あれ}{SimCSE}{2023年8月11日}{Google Colaboratory}(6)t_w
{あれ K#EDD2/50D6}
やったー
幣WindowsでGPUでALBERTのSimCSEの学習ができるようになったぞ
1回の学習にかかる時間が40時間から2時間に短縮された
それでもGoogle Colabと比べると２倍時間かかるので、良いぱしょこんが欲しい
1070 Tiはそろそろ買い替えていい頃合いと思う
{ALBERT}{SimCSE}{淡い夢}{2023年8月11日}{Sentence Embedding}{機械学習}(6)t_w
{あれ K#EDD2/C90F}
昨日・今日とSentence Embeddingを吐くALBERTをSimCSEで学習させているが、少し前にちょいと試しで学習させたときの性能を上回ることができない。
機械学習はそんな淡い夢みたいなことが度々起こる。
{SimCSE}{Sentence Embedding}(2)t_w
{『【論文要約】SimCSE: Simple Contrastive Learning of Sentence Embeddings』 K#EDD2/D4BF}
{SimCSE}