(1){あれ}{あれ K#EDD2/83C6}t_w BERTとALBERTの学習させてるんだけど、BERTの成績が良すぎて辛い。ALBERTが追い付かない。使っているALBERTのモデルが、「小さすぎる」可能性はある。
(14){あれ}{あれ}{あれ}{日本語ALBERT}{あれ}{あれ}{あれ}{あれ}{あれ}{ajinkyaT/albert-japanese-v2-finetuned-ner}{ALBERT K#EDD2/B33A}t_w BERTを小さくしたやつ。でも性能はそのまま。と言われている。
(15){ModernBERT}{Sentence EmbeddingはBERTよりGloVeの方が良い}{あれ}{あれ}{あれ}{あれ}{HuBERT}{2023年11月14日日記}{あれ}{あれ}{BERT K#EDD2/850E}t_w