{Sentence Embedding}(1)

{instructor-embedding K#EDD2/6CA6}

t_w

(1){あれ}

{instructor-embedding}{Sentence Embedding}(2)

{あれ K#EDD2/34BA}

t_w

この方針をさらに推し進めたのがinstructor-embedding[8]で、色々なプロンプトを入れてタスクごとに埋め込みを最適化できるらしい
── 『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』

(1){『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』}

{Two-Towerモデル}{Sentence Embedding}(2)

{E5でTwo-Towerモデルっぽいことができる K#EDD2/F92A}

t_w

Multilingual-E5でも実は入力文に"query:" "document:"というプロンプトを入れて、2つ（検索文と検索対象）を識別できる
── 『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』

(1){『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』}

{Sentence Embedding}(1)

{JaColBERT K#EDD2/259F}

t_w

(1){『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』}

{PKSHA}{Sentence Embedding}(2)

{GLuCoSE K#EDD2/629D}

t_w

(1){『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』}

{単語埋め込み}{GloVe}{Sentence Embedding}{BERT}(4)

{Sentence EmbeddingはBERTよりGloVeの方が良い K#EDD2/5FB4}

t_w

実験的にも、BERTの[CLS]トークン埋め込みや平均プーリング埋め込みを使うぐらいだったら、GloVe等の（もっと古い時代の）単語埋め込みを使った方がましということが知られている
── 『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』

(1){『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』}

{単語埋め込み}{Sentence Embedding}(2)