勾配と方向微分の練習問題

考え方

多変数関数がいちばん急に増える向き（勾配ベクトル）と、好きな向きへの変化の割合（方向微分）を求められるようになります。機械学習の勾配降下法で、損失を小さくする向きを決めるしくみそのものです。

勾配 $\nabla f$

偏微分を並べたベクトル $\left(\dfrac{\partial f}{\partial x}, \dfrac{\partial f}{\partial y}\right)$。$\nabla$ は「ナブラ」と読む。

方向微分

長さ 1 のベクトル $\boldsymbol{u}$ の向きに進んだときの $f$ の変化の割合。$\nabla f \cdot \boldsymbol{u}$。

勾配降下法

勾配の逆向きに少しずつ進んで、関数の値を小さくしていく方法。

山の斜面に立っていると想像してください。東西方向の傾き（$x$ で偏微分）と南北方向の傾き（$y$ で偏微分）を並べた矢印が勾配 $\nabla f$ です。勾配は、その場所でいちばん急な上り坂の向きを指し、長さがその傾きの大きさを表します。

ほかの向き（長さ 1 のベクトル $\boldsymbol{u}$）に進んだときの傾き（方向微分）は、内積 $\nabla f \cdot \boldsymbol{u}$ で求まります。内積は向きがそろうほど大きいので、勾配の向きが最も急な上り、逆向きが最も急な下りです。勾配は等高線と垂直に交わります。

勾配降下法では、パラメータを $\boldsymbol{x}_{k+1} = \boldsymbol{x}_k - \eta\nabla f(\boldsymbol{x}_k)$ と更新します。$\eta$（学習率）は1回に進む歩幅です。勾配が $\boldsymbol{0}$ に近づくと、谷底に近づいたことになります。

勾配を求めるには、まず $\dfrac{\partial f}{\partial x}$ と $\dfrac{\partial f}{\partial y}$ を式で求め、最後に点の座標を代入します。$bxy$ のような項は、$x$ で偏微分すると $by$、$y$ で偏微分すると $bx$ です。

ポイント

$\nabla f(x, y) = \left(\dfrac{\partial f}{\partial x}, \dfrac{\partial f}{\partial y}\right)$

方向微分: $D_{\boldsymbol{u}}f = \nabla f \cdot \boldsymbol{u}$（$|\boldsymbol{u}| = 1$）

勾配降下法: $\boldsymbol{x}_{k+1} = \boldsymbol{x}_k - \eta\,\nabla f(\boldsymbol{x}_k)$

解き方の手順

1. $y$ を定数とみなして $\dfrac{\partial f}{\partial x}$ を求める。
2. $x$ を定数とみなして $\dfrac{\partial f}{\partial y}$ を求める。
3. 指定された点の座標を代入し、$\nabla f = \left(\dfrac{\partial f}{\partial x}, \dfrac{\partial f}{\partial y}\right)$ の形にまとめる。
4. 勾配降下法で進む向きは、その逆向き $-\nabla f$。