単純パーセプトロン
単純パーセプトロン
パーセプトロン とは，動物の神経細胞（ニューロン）の発火現象を数理的に表現したモデルのことです． ウォーレン・マカロック氏とウォルター・ピッツ氏が提案した 形式ニューロン を2層のネットワーク状に接続したものは 単純パーセプトロン と呼ばれます． 単純パーセプトロンの1層目のニューロンは，入力データを伝えるだけの役割であるため，実質的には1つの形式ニューロンと考えることができます．
ここでは，2入力，1出力の単純パーセプトロンを考えます． 下記の式に従って，入力された$x_1$と$x_2$から，中間出力$y$を得ます． ここで，$w_1$と$w_2$は入力に対する 重み です． また，$w_0$は バイアス と呼ばれ，出力の閾値として用いられます．
$$ y = w_1 \times x_1 + w_2 \times x_2 + w_0 $$
この中間出力$y$に対して，活性化関数 $f$と呼ばれる特殊な関数を適用して， 得られた値を最終的なニューロンの出力$z$とします．
$$ z = f(y) $$
一般に$n$入力の単純パーセプトロンは，入力${\bf x}$と重み${\bf w}$は下記のようにベクトルで表現されます． ここで，$x_0=1$はバイアス$w_0$を導入するために用いられます． パーセプトロンが多層になると，ベクトル表現が必須となりますので，慣れておきましょう．
$$ {\bf x} = (1, x_1, \cdots, x_n) \\ {\bf w} = (w_0, w_1, \cdots, w_n) \\ y = {\bf x} \cdot {\bf w} \\ z = f(y) $$
活性化関数$f$には下記のような種類があります．
- ステップ関数
- シグモイド関数
- ReLU(Rectified Linear Unit)関数
下図はステップ関数のグラフです． ステップ関数は入力$y$が0以上なら1，0未満であれば0を出力する関数です．
下図はシグモイド関数のグラフです． シグモイド関数は，ステップ関数とは異なり滑らかに変化する連続関数であり， 0から1の範囲を出力します．
$$ f(y) = \frac{1}{1 + e^{-y}} $$
下図はReLU関数のグラフです． ReLU関数は入力$y$が0以上なら入力$y$をそのまま出力し， 0未満であれば0を出力する関数です．
単純パーセプトロンの実装
ノートブックを作成し，ノートブックのタイトルをchapter2 に設定します． それでは，単純パーセプトロンを PyTorch を利用して実装してみましょう． まずは，PyTorchをインストールし，PyTorchとNumpyをインポートします．
!pip install torch
!pip install torchvision
import torch
import torch.nn as nn
import numpy as np
単純パーセプトロンのネットワークを生成します．
nn.Sequentialは，パーセプトロンの層を追加した順番に並べます．
最初に2入力・1出力の層nn.Linear(2, 1）を作成します．
その出力をシグモイド関数nn.Sigmoid()に伝え，最終的な出力を得ています．
# 単純パーセプトロン
network = nn.Sequential(
nn.Linear(2, 1),
nn.Sigmoid()
)
print(network)
#出力
Sequential(
(0): Linear(in_features=2, out_features=1, bias=True)
(1): Sigmoid()
)
重みやバイアスなどのパラメータ$w$は，ランダムに初期化されています． ここでは，下記のようにパラメータを強制的に変更します．
$$ {\bf w} = (w_0, w_1, w_2) = (-0.5, 0, 1) $$
パーセプトロンの各層には，配列として参照することが可能です．
network[0]は先程作成した2入力・1出力の層です．
重みを変更するには，network[0].weight.dataのfill_メソッドを利用します．
# 重みの変更
network[0].weight.data[0][0].fill_(0)
network[0].weight.data[0][1].fill_(1)
print(network[0].weight)
#出力
Parameter containing:
tensor([[0., 1.]], requires_grad=True)
バイアスを変更するには，network[0].bias.dataのfill_メソッドを利用します．
# バイアスの変更
network[0].bias.data.fill_(-0.5)
print(network[0].bias)
#出力
Parameter containing:
tensor([-0.5000], requires_grad=True)
単純パーセプトロンの入力${\bf x}=(x_1, x_2)$をテンソルとして作成します（ここではバイアスは除きます）．
$$ {\bf x} = (x_1, x_2) = (1, 1) $$
# 入力
x = torch.tensor([1, 1], dtype=torch.float)
print(x)
#出力
tensor([1., 1.])
単純パーセプトロンに${\bf x}$を入力し，出力$z$を得ます．
z = network(x)
print(z)
#出力
tensor([0.6225], grad_fn=<SigmoidBackward>)
出力$z$は 0.6225 になりました． この値が正しいか確認してみましょう． 定義に従って計算すると，PyTorchで作成した単純パーセプトロンと出力が一致していることが分かります．
def sigmoid(x):
return 1 / (1 + np.exp(-1 * x))
x = np.array([1, 1, 1]) #入力
w = np.array([-0.5, 0, 1]) #重みとバイアス
y = x.dot(w) #中間出力
z = sigmoid(y) #シグモイド関数
print(z)
#出力
0.6224593312018546
課題
Google Colaboratoryで作成した chapter2.ipynb を保存し， 共有用のリンク と ノートブック（.ipynb） をダウンロードして提出してください． 提出の前に必ず下記の設定を行ってください．
- ノートブックの設定で「セルの出力を除外する」のチェックを外す
- ノートブックの変更内容を保存して固定
- 共有設定で「学校法人椙山女学園大学」を「閲覧者」に設定