{LLM}{大規模言語モデルの小規模化}{大規模言語モデルをOSに搭載}{個人化した大規模言語モデル}{大規模言語モデルの個人化}{情報搾取}{『ChatGPTは「植民地化されたネットの象徴」 若手起業家が警鐘』}{セマンティックウェブ}{検索サイト}{RSS}(10)

{大規模言語モデルによって検索サイトのビジネスモデルは崩壊し、セマンティックウェブの時代が到来する? K#EDD2/0840}

今までの検索サイトのビジネスモデルでは、検索サイトと検索によって表示されるサイト(以降「被検索サイト」と呼称)の間には互恵関係があった。検索サイトから個々のウェブサイトへ閲覧者が流入するという利点が被検索サイトにはあった。

LLMが検索サイトに搭載され、検索語で知りたい情報が検索サイト自身に表示されるのであれば、被検索サイトのページビューは減少する。

閲覧者の流入がないのであれば、被検索サイトにとって検索サイトが敵になる。クロールされ、負荷を強いられ、情報を搾取されるようになるからだ。今までは被検索サイトは得られる利益と引き換えに、こうした問題を受忍してきた。しかし利益がなければ受忍する道理はない。

故に、被検索サイトもAI絵師の問題と同様に、サイトからの情報を学習に利用されることを拒否するようになる。

そうして出てくるのは、LLMを搭載したブラウザやOSだ。利用者の手元でLLMが動作し、情報を収集し、利用者の問い合わせに応じて回答する。大規模言語モデルの小規模化もそれを後押しする。

利用者にとってはLLMを通して情報を取得する形となるが、検索サイトは仲介することによる利益を広告として得ることができなくなる。すなわち、情報流通の費用が低減するのだ。

続いて勃興するのはLLMに最適化された情報の提示だ。SEOが検索エンジンに最適化したように、LLMに最適化された情報を提示して、自身の事業に有利な出力をするように仕向ける。その形態はビジュアルである必要がないため、セマンティックウェブ的になる。

購読の意味合いも変わってきて、LLMに食わせる情報源として購読するという形態が発生する。RSSが形を変えて復興する。

想定される課題と対処

読み込み中...
{ローカルLLM}{LLM}{オープンな大規模言語モデルの進歩}{大規模言語モデルの個人化}{<なるほど}(5)

{大規模言語モデルの小規模化 K#EDD2/69F2}

LLaMA・Alpaca・Vicunaはデータと仕組みが公開された大規模言語モデルであり、GoogleのBardに匹敵する性能にまで進化している。

https://lmsys.org/blog/2023-03-30-vicuna/ より



楽観的には4.6ヶ月後にノートPC、9.2ヶ月後にスマホでGPT-4相当のAIが動く

LLaMA・Alpaca・Vicunaはデータと仕組みが公開された大規模言語モデルであり、これらの性能あたりのパラメータ数の時間変化を指数近似すると、およそ4.6ヶ月で性能あたりのパラメータ数は半分になる。

悲観的には18ヶ月後にノートPCでGPT-4相当のAIが動く

ムーアの法則に従えば18か月後にはGPT-4相当の大規模言語モデルがノートPCの上で動作することになる。

小規模化への研究資源の投射

学習データの枯渇が起こるならば、研究対象は大規模化・高性能化から高能率化に移る。