【機械学習】超雑メモ1 (パープトロン～ロジスティックス回帰)

思い出しのためにもメモ

パーセプトロン(Rosenblatt)

• 単層ニューラルネット
• 活性化関数は単位ステップ関数で微分不能

ADALINE

• Rosenblattパープトロンの改良版
• 活性化関数が線形関数
• 量子化器がステップ関数
• 活性化関数が微分可能となり、勾配降下法で誤差更新が可能

ロジスティックス回帰

• パープトロンの学習則の見直し(クラスの線形分離が完全にできない限り、永久に収束しない)
• 活性化関数が非線形関数(シグモイド関数)
• ここで範囲が0-1に収まり、確率観点で捉えることができる
• コスト関数は対数尤度最大化と置き換え、重み更新する