第一代類神經網路(感知機時代)延伸到後期神經網路架構

第一代類神經網路(感知機時代)

人工神經網路(ANN,Artificial Neuron Net)

由許多人工神經元(Artificial Neuron)所組成。

用於模擬人腦神經的架構與原理，藉此解決一些決策判定上問題。

簡單的神經元如何運作的?(只有一層會有權重W跟偏差值bias)

假設有兩個神經元X 跟 Y將信號傳遞到另一個神經元Z。

X跟Y是傳遞信號的傳入神經元，Z是接收信號的輸出神經元(接收並激活)。

輸入神經元透過互連鏈路(A跟B)連接到輸出神經元。

臨界值區分輸出0或1

https://towardsdatascience.com/the-basics-of-neural-networks-neural-network-series-part-1-4419e343b2b-2/

權重(Weight):

用來決定輸入特徵對神經元輸出的影響程度。

偏差值(Bias):

對輸出的一個常數偏移，偏差值就像調整這個門檻的高度，讓神經元更容易或更難被激活。

激活函數(Activation function):

好比如一定的門檻，只有當輸入超過這個門檻時，神經元才會被激活。

隨著發展慢慢感知機時代的處裡無法滿足後續不限純數值或線性問題計算。權重的自我學習也成為重要性質之一，激活函數也愈來愈重要，激活函數主要用於解決非線性的應用問題(二分類、多分類、迴歸問題【連續性數據】)。在類神經網路中使用到的激勵函數主要是利用非線性方程式去解決非線性問題。

神經網路的一個重要性質是他可以自動地從數據中學習到合適的權重參數。

激活函數會將輸入信號的總和轉換為輸出信號。具體操作是將輸入(X)和它們相對的權重(W)之乘積之加總，並將激活函數用於其獲取該層的輸出並將其作為輸入饋送到下一層。

若不使用激勵函數，類神經網路會以線性的方式組合運算，因隱藏層以及輸出層皆是將上層結果輸入，並以線性組合計算作為這一層輸出。使得輸出跟輸入只會存在線性關係。

然而，實際環境絕大部分都屬於非線性問題。

https://lassehansen.me/post/neural-networks-step-by-step/

單層網絡

適合簡單模式，單層網絡擅長處理簡單數據，尤其是線性分離數據，表達模式清晰且訓練成本低。

多層網絡

適合複雜數據，如影像、語音等，則可採用2-3層結構，讓網絡逐層學習非線性特徵。

Ref:

https://claire-chang.com/2023/01/04/%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%AC%8A%E9%87%8D%E8%88%87%E5%81%8F%E5%B7%AE%E5%80%BC/

https://blog.51cto.com/emanlee/7750110

https://zhengyu.tech/archives/shen-du-xue-xi-zhong-de-ji-huo-han-shu

https://www.pico.net/kb/the-role-of-bias-in-neural-networks/

第25個冬天