輪郭法も多重階層構造だし、Cartesian Genetic Programmingも多重階層構造なので、輪郭法で数式あるいはプログラムを構成できるのではないか?というね。
{Cartesian Genetic Programmingで文章の類似度を学習 K#EDD2/0E2A}
t_w{Cartesian Genetic Programmingにおける誤差逆伝播法の導出 K#EDD2/7105}
t_wまだ導出途中
Cartesian Genetic Programmingの模式図
準備
記号の準備
入力層の出力:\( x_i \)
中間層の出力:\( y_j = f_j(x_{o(j)}, x_{p(j)}, a_j) \)
出力層の出力:\( z_k = g_k(y_{m(k)}, y_{n(k)}, b_k) \)
\(z_k\)の入力1:\(y_{m(k)}\)
\(z_k\)の入力2:\(y_{n(k)}\)
\(y_j\)の入力1:\(x_{o(j)}\)
\(y_j\)の入力2:\(x_{p(j)}\)
{Cartesian Genetic Programmingの模式図 K#EDD2/E83D}
t_w{あれ K#EDD2/705F}
t_w遺伝的プログラミングと誤差逆伝播法を組み合わせるにあたって、誤差逆伝播法の具体的計算方法がウェブを見ていてもわからんので、『ニューロ・ファジィ・遺伝的アルゴリズム』を戸棚から引き出してきた。誤差逆伝播法の章にt_wの書き込みがされており、理解の道筋をたどることができる算段。
ただ、紙の書籍で取り回しが悪いので、アレしましょう。デライトに書きましょう。
{あれ K#EDD2/9253}
t_w遺伝的プログラミングの学習結果をonnxにするというアイデアが降りてきた。
onnxのエコシステムに乗っけられるのが嬉しいポイント
{あれ K#EDD2/FF19}
t_w遺伝的プログラミングの計算を小数にしたら学習しなった。シット!!
整数値で計算させていた時には、数値が巨大化する問題がオーバーフローによって回避されていたらしい。
{あれ K#EDD2/C932}
t_w遺伝的プログラミングで誤差逆伝播法行くぞ!!!
遺伝的プログラミング(Cartesian Genetic Programming)で得られたグラフ構造に内在するパラメーターを誤差逆伝播法で学習してやるのだぁ!!
遺伝的プログラミング単体ではどうにも学習が進まないのでやってやろうじゃねぇかよとなった。
『生成 AI に必要な「基盤モデル」のメモリ使用量 98%削減につながる技術を開発 ─ 自動運転車や工作用ロボット用組み込みシステムへの搭載を目指す』も背中を後押しした。良い構造の小さいモデルで良い性能が出せることが示された。
{あれ K#EDD2/D36C}
t_wうごいた!!遺伝的プログラミングがWebGPUで!!!遅い!!!!CPUより8倍ぐらい遅い!!!俺たちの戦いはこれからだ!!!