土屋つかさの技術ブログは今か無しか

土屋つかさが主にプログラミングについて語るブログです。

日記:ディープラーニングにおける数学(単変数の微分から連鎖律までの道のり)

またちょっと忙しくなってきて

ブログが飛び飛びになりますが、Twitter(X)のように発言が流れてしまうのではない場所に自分の思考を残しておきたい気持ちが強いので、ちょこちょこ投稿していくつもりです。

ちなみに

Google広告ですが、自分で見返した時に邪魔に感じた所は全部消しました。

引き続きトライの高校数学動画を

見続けています。数Ⅱの微分の後、積分は飛ばして数Ⅲの数列の極限へ。今はそれも終わって関数の極限に入った所です。本当は積分もやりたかったんですが、直近で必要なのは微分法の復習なので、先にそこまで終えてから、飛ばした箇所をどうするか考えるつもりです。

こんな集中的に高校数学を復習する機会など人生でもう一度あるかわかりませんし、実際やってみると、忘れてる以前に「そもそも勉強した記憶が無い(つまり、高校時代に授業を寝ていた)」という単元が非常に多いので、これを気に数学の基礎を学んでおきたいと思っています。

なんで高校数学、特に微分法を復習しているのか

と言いますと、現在取得を目指している「ディープラーニングE資格」、ひいてはAIプログラミングに必要な技術だからです。

おおざっぱに言うと、現在のディープラーニングというAI技術は「メチャクチャ巨大なモデル(訓練データを使って学習させたデータベースの様な物)を用意出来さえすれば、大体の物はそのモデルを使って推論できる」という物です。

訓練データを使ってモデルを学習させる部分に「連鎖律」という数学手法が使われています。この連鎖律は「微分の合成関数」と「偏微分」という数学手法を使っています。つまり、ディープラーニングの数学的背景を理解するには「連鎖律」と、その前提としての「微分の合成関数」と「偏微分」が分かって無いといけません。

もうお分かりかと思いますが、この「その前提としての~」は延々と遡れます。「微分の合成関数」の前提として「関数の合成関数」→「関数の極限」→「数列の極限」があり、「偏微分」の前提として「多変数関数」→「単変数の微分(高校数学の微分の範囲)」があります。

というわけで、土屋は現在この前提知識のピラミッドを登攀している最中なのです。単にディープラーニングの連鎖律を計算するだけなら、特定のルールだけ丸暗記するでも構わないんですが、長期的には基礎から理解した方が自分にとって得だろうと考えています。

今日は

ここまで。読んでくれた皆様にグッドラック(幸運を祈る)。