{onnxruntime-nodeでgzipで圧縮したonnxファイルを読み込む}{onnxに変換して量子化するコマンド}{Sentence Embedding}{BERT}{ONNX}(5)

{あれ K#EDD2/490B}

500MBあるBERTをONNXに変換した後に量子化したら110MBほどになってLambdaで動かせるようになった。
Githubに乗せるファイルは100MB以下でないとだめなので、ダメ押しでgzipで圧縮したら75MBになった。

{onnxruntime-node}{gzip}{ONNX}(3)
{Next.jsでサーバーレスSentence Embedding}{optimum-cli}{transformers.onnx}{Next.js}{ONNX}(5)
{Cartesian Genetic Programming}{遺伝的プログラミング}{アイデア}{ONNX}(4)

{あれ K#EDD2/9253}

遺伝的プログラミングの学習結果をonnxにするというアイデアが降りてきた。
onnxのエコシステムに乗っけられるのが嬉しいポイント

{AWS LambdaでSentence Embedding}{Sentence Embedding}{Google Colaboratory}{ONNX}{Go言語}(5)
{ONNX}

{}