Sentence Embedding / t_w / デライト

　「あれ」ってどんなんだったっけと思って、デライトで検索しようとしたところ、デライトが落ちていた(障害のお知らせ)。普段当たり前のようにデライトが使えているが、knownetの開発を通じてデライトが安定稼働していたことの異常さに気付きつつある。knownetの方はちゃんと動いている期間のほうが短い。

　探そうとしていた情報については『t_wの輪郭』を参照して見つけられた。いざというときの保証として機能してくれた。

{Sentence Embedding}{輪郭法}{検索}(3)

{輪郭法によるSentence Embeddingを用いた検索の強化 K#EDD2/F002}

t_w

検索結果の候補として、知名とトークンが一致した輪郭に加えて、そこから前景後景を2回まで辿った輪郭も、検索候補とする。これにより、類義語を考慮した検索となる。
ベクトル検索と比較して、実装が簡単。ベクトル検索がまだ簡単ではないので。

輪郭の順位づけに、輪郭本体のSentence Embeddingに加えて、前景後景のSentence Embeddingを用いる。輪郭単体のSentence Embeddingでは、意図せず順位が高くなる恐れがあるが、互助的に順位を出すことで、より安定した順位付けとなる。
輪郭本体のSentence Embeddingがまだ計算されていない間も、前景後景から補完されて順位付けができる利点もある。

{Sentence Embedding K#EDD2/B2F6}

{あれ K#EDD2/490B}

{sonoisa/sentence-bert-base-ja-mean-tokens-v2 K#EDD2/C417}

{『local llmでsentence embeddingどれ使えば良いんだっけ』 K#EDD2/48FE}

{Next.jsでサーバーレスSentence Embedding K#EDD2/C5C6}

{『sentence transformersで日本語を扱えるモデルのまとめ』 K#EDD2/2EDA}

{sentence-transformers/all-MiniLM-L6-v2 K#EDD2/4AF6}

{『Sentence Transformers 2.2 : 事前訓練済みモデル』 K#EDD2/C2B6}

{『日本語Embeddingモデルのベンチマーク比較: OpenAIが圧倒的な精度でリード』 K#EDD2/334C}

{2023年11月14日日記 K#EDD2/D9E4}

朝

仕事

夜

デライトが落ちていた

{輪郭法によるSentence Embeddingを用いた検索の強化 K#EDD2/F002}

{}