Sentence Embeddingの学習方法
{あれ}{SimCSE}(2)
t_w 「プロモーションを含みます」
{あれ K#EDD2/770F}
学習方式も「教師なしSimCSE」から「教師ありSimCSE」変えたのでValidation Lossがちゃんと下がりよるわ
気分がよい
{ALBERT}{SimCSE}(2)t_w 「プロモーションを含みます」
{あれ K#EDD2/C758}
ALBERTをSimCSEの学習させとるけど、Wikipediaのデータを20 epoch回すには1000時間かかるらしい
{GTX 1070Ti}{ALBERT}{あれ}{SimCSE}{2023年8月11日}{Google Colaboratory}(6)t_w 「プロモーションを含みます」
{あれ K#EDD2/50D6}
やったー
幣WindowsでGPUでALBERTのSimCSEの学習ができるようになったぞ
1回の学習にかかる時間が40時間から2時間に短縮された
それでもGoogle Colabと比べると２倍時間かかるので、良いぱしょこんが欲しい
1070 Tiはそろそろ買い替えていい頃合いと思う
{ALBERT}{SimCSE}{淡い夢}{2023年8月11日}{Sentence Embedding}{機械学習}(6)t_w 「プロモーションを含みます」
{あれ K#EDD2/C90F}
昨日・今日とSentence Embeddingを吐くALBERTをSimCSEで学習させているが、少し前にちょいと試しで学習させたときの性能を上回ることができない。
機械学習はそんな淡い夢みたいなことが度々起こる。
{SimCSE}{Sentence Embedding}(2)t_w 「プロモーションを含みます」
{『【論文要約】SimCSE: Simple Contrastive Learning of Sentence Embeddings』 K#EDD2/D4BF}
{SimCSE}{Sentence Embedding}(2)t_w 「プロモーションを含みます」
{llm-book/bert-base-japanese-v3-unsup-simcse-jawiki K#EDD2/EF06}
{SimCSE}