{ONNX}(1)

{ONNX Runtime K#EDD2/A52F-950A}

(2){ONNX Runtime GenAI}{ONNX Runtime Web}

{ONNX Runtime}{生成AI}{ONNX}(3)

{ONNX Runtime GenAI K#EDD2/A52F-67CA}

(2){『Ryzen AI ソフトウェア』}{『GitHub - microsoft/onnxruntime-genai: Generative AI extensions for onnxruntime』}

{sherpa}{ONNX}(2)

{sherpa-onnx-node K#EDD2/A52F-763B}

{ort}{ONNX}{wasm}(3)

{『[Rust] ortでonnxモデルを使って推論したりWASMにしたりしてみる | DevelopersIO』 K#EDD2/D886}

https://dev.classmethod.jp/articles/ort-wasm/

{NatML}{Barracuda}{Unity}{ONNX}(4)

{あれ K#EDD2/6083}

{onnxruntime-nodeでgzipで圧縮したonnxファイルを読み込む}{onnxに変換して量子化するコマンド}{Sentence Embedding}{BERT}{ONNX}(5)

{あれ K#EDD2/490B}

500MBあるBERTをONNXに変換した後に量子化したら110MBほどになってLambdaで動かせるようになった。
Githubに乗せるファイルは100MB以下でないとだめなので、ダメ押しでgzipで圧縮したら75MBになった。

{onnxruntime-node}{gzip}{ONNX}(3)

{onnxruntime-nodeでgzipで圧縮したonnxファイルを読み込む K#EDD2/7183}

const onnx_zip = fs.readFileSync('./sonoisa_sentence-bert-base-ja-mean-tokens-v2_onnx/model_quantized.gz');
const onnx_buffer = zlib.unzipSync(onnx_zip)
const session = await ort.InferenceSession.create(onnx_buffer);

{ONNX}(1)

{onnxruntime K#EDD2/A862}

(3){onnxruntime-web}{『microsoft/onnxruntime-training-examples: Examples for using ONNX Runtime for model training.』}{onnxruntime-node}

{Next.jsでサーバーレスSentence Embedding}{optimum-cli}{transformers.onnx}{Next.js}{ONNX}(5)

{onnxに変換して量子化するコマンド K#EDD2/4D36}

python3 -m transformers.onnx --model=sentence-transformers/paraphrase-multilingual-mpnet-base-v2 onnx/ --opset=18

optimum-cli onnxruntime quantize --onnx_model ./onnx --output onnx_quantize/ --arm64

(2){あれ}{あれ}

{Transformers}{ONNX}(2)

{transformers.onnx K#EDD2/D4D4}

(1){onnxに変換して量子化するコマンド}

{

{}