Algortima ANN: Perhitungan Hidden Neuron, Back Propagation, Activation dan Loss Function.

Fariz Galang Nusantara Putra Setiawan
Program Studi Magister Teknik Mesin
Fakultas Teknik
Universitas Indonesia, Depok, Jawa Barat

Assalamualaikum, teman-teman. Di blog ini saya mencoba untuk menguraikan proses algoritma Artificial Neural Network (ANN) secara detail. Saya akan mengupas bagaimana proses kalkulasi yang terjadi dalam algoritma ANN, cara algoritma ANN dalam mengubah variabel-variabelnya, serta rumus-rumus matematis seperti apa yang digunakannya.

A. Arsitektur Artificial Neural Network (ANN)

Jika digambarkan, ANN akan terlihat seperti Gambar 1. ANN terdiri dari input, output, dan hidden layer yang masing-masing memiliki sejumlah neuron. Jumlah dari hidden layer dan neuron yang terdapat di dalamnya merupakan variabel bebas yang diatur oleh si pembuat algoritma, dan variabel ini dinamakan sebagai “hyperparameter.”

Hyperparameter tidak hanya sebatas jumlah dari hidden layer dan neuron, namun lebih dari itu, rumus optimizer, activation function, jumlah training, loss function, dan lain-lain, yang nanti akan dibahas lebih detail, juga merupakan hyperparameter dari ANN.

Gambar 1. Arsitektur Artificial Neural Network (ANN)

B. Perhitungan Matematis ANN

Pada dasarnya, Setiap neuron hanya menyelesaikan persamaan aljabar sederhana. Rumus umum pada setiap neuron dapat dilihat pada persamaan berikut:

h_j = f\left(\sum_{i=1}^{n} w_{ij}^{(1)} x_i + b_j^{(1)}\right), \qquad j = 1, 2, \ldots, H

dengan :

$x_{i}$ : nilai input ke- $i$ .

$w_{i j}^{(1)}$ : bobot dari input ke- $i$ menuju hidden neuron ke- $j$ .

$b_{j}^{(1)}$ : bias pada hidden neuron ke- $j$

$f (\cdot)$ : fungsi aktivasi hidden layer.

$h_{j}$ : output dari hidden neuron ke- $j$ .

Agar persamaan tersebut dapat terasa lebih mudah dicerna, mari pahami contoh berikut:

Sebuah ANN memiliki 2 input, 1 hidden layer dengan 3 neuron, dan 1 output. Maka, setiap neuron pada hidden layer akan memiliki persamaan:

h_1 = f\left(w_{11}^{(1)}x_1 + w_{21}^{(1)}x_2 + b_1^{(1)}\right)

h_2 = f\left(w_{12}^{(1)}x_1 + w_{22}^{(1)}x_2 + b_2^{(1)}\right)

h_3 = f\left(w_{13}^{(1)}x_1 + w_{23}^{(1)}x_2 + b_3^{(1)}\right)

Dapat dilihat bahwa untuk setiap input $x_{i}$ terdapat nilai bobot yang membersamainya, dan untuk setiap neuron memiliki satu nilai bias. Kedua nilai inilah yang nantinya akan disesuaikan oleh algoritma backpropagation sehingga idapat nilai bobot dan bias yang sesuai.

Persamaan tersebut merupakan contoh sederhana dari ANN. Namun, persamaan yang digunakan dapat lebih kompleks, seperti persamaan kuadratik, tergantung besar data dan kebutuhan.

C. Scaling data/Normalisasi

Dalam melakukan training ANN, diperlukan sebuah normalisasi data khususnya pada dua atau lebih input yang memiliki range berbeda. Misalnya input pertama memiliki range 10-50, sedangkan input kedua memiliki range 200-400. Normalisasi dilakukan agar mempercepat training dan memberikan data prediksi yang lebih akurat. Rumus normalisasi yang banyak digunakan adalah sebagai berikut:

\begin{equation} x_{\text{norm}} = \frac{x – x_{\min}}{x_{\max} – x_{\min}} \end{equation}

Dimana,

x : data yang dinormalisasi,

x_min : data paling rendah

x_max : data paling tinggi

Dengan melakukan normalisasi, maka range kedua input akan sama, sehingga mempermudah training. Namun, perlu diperhatikan bahwa output yang dihasilkan akan berupa data normalisasi juga, sehingga perlu dikembalikan ke rentang aslinya.

D. Activation Function

Ketika melakukan training, diperlukan adanya activation function. hal ini dikarenakan bentuk dari data training biasanya tidak linear, dan jika tidak ada activation function, maka penjumlahan persamaan aljabar dari setiap hidden neuron akan menghasilkan persamaan linear saja. Activation function digunakan pada setiap nilai yang telah dikalkulasi oleh setiap hidden neuron, sebelum nilai tersebut diberikan ke hidden layer setelahnya.

Bentuk ari activation function ada cukup banyak. Beberapa yang paling sering digunakan adalah Rectified Linear Unit (ReLU), Sigmoid, dan tanh. Berikut adalah bentuknya dalam bahasa matematika:

Relu :

\begin{equation} f(x) = \begin{cases} 0, & x \leq 0 \\ x, & x > 0 \end{cases} \end{equation}

Sigmoid :

\begin{equation} f(x) = \frac{1}{1 + e^{-x}} \end{equation}

tanh :

\begin{equation} f(x) = \tanh(x) = \frac{e^x-e^{-x}}{e^x+e^{-x}} \end{equation}

E. Loss Function

Nilai prediksi ANN tentu memiliki kesalahan pada mulanya. Error dari prediksi dikalkulasi menggunakan loss function. Umumnya loss function yang digunakan adalah Mean Squared Error (MSE) atau Mean Absolute Error (MAE). Dalam bentuk matematis dapat diekspresikan sebagai berikut:

MSE :

\begin{equation} \mathrm{MSE} = \frac{1}{N}\sum_{i=1}^{N}(y_i-\hat{y}_i)^2 \end{equation}

MAE :

\begin{equation} \mathrm{MAE} = \frac{1}{N}\sum_{i=1}^{N}|y_i-\hat{y}_i| \end{equation}

Dimana,

N : Jumlah data

i : urutan data

Yi : Nilai aktual pada data ke-i

Yi^ : Nilai prediksi pada data ke-i

F. Backpropagation

Back propagation merupakan algoritma kunci dibalik sistem training ANN. Algoritma ini mampu untuk melihat bobot dan bias ke-berapa pada neuron ke-berapa yang akan diubah sehingga nilai prediksi selanjutnya akan lebih baik. Nilai bobot dan bias akan diubah melalui persamaan berikut:

\begin{equation} w_{\text{new}} = w_{\text{old}} – \eta \frac{\partial E}{\partial w} \end{equation}

dan

\begin{equation} b_{\text{new}} = b_{\text{old}} – \eta \frac{\partial E}{\partial b} \end{equation}

dimana nilai η merupakan learning rate yang juga merupakan salah satu dari hyperparameter. Dapat ilihat pada persamaan tersebut bahwa terdapat differential error terhadap bobot/bias. Untuk mendapatkan nilai tersebut, dilakukan sebuah identitas differential bernama chain rule, sebagai berikut:

\begin{equation} \frac{\partial E}{\partial w} = \frac{\partial E}{\partial \hat{y}} \frac{\partial \hat{y}}{\partial h} \frac{\partial h}{\partial w} \end{equation}

Persamaan loss function diturunkan terhadap y, kemudian dikalikan turunan y terhadap h, dan dikalikan kembali dengan turunan h terhadap w. Dari identitas ini, didapatkan nilai differential loss function terhadap bobot/bias.

Algoritma ini dilakukan kepada setiap nilai bobot/bias pada setiap neuron sehingga nilai prediksi dapat akurat. Kualitas training juga dapat ditentukan dari nilai learning ratenya, di mana jika learning rate terlalu rendah akan menyebabkan training menjadi sangat lama. Sebaliknya, jika learning rate terlalu tinggi, maka training dapat overshoot dan sulit mencapai stabilitas.

ANN melakukan keseluruhan perhitungan ini dalam waktu 5-10 ms. iterasi berulang ini dinamakan sebagai epoch. Melalui serangkaian perhitungan ini pula, banyak eksperimen maupun simulasi, yang memakan waktu lama, dipangkas sedemikian rupa. Sehingga eksperimen/simulasi yang dilakukan hanya sebagai pelengkap data training. Dan untuk memprediksi nilai eksperimen terbaru, dapat dilakukan hanya dengan memberi input kedalam ANN yang telah di-training.

G. Overfitting dan Underfitting

ANN, apabila nilai hyperparameter tidak di-tuning dengan baik, maka akan cenderung untuk overfitting atau underfitting. Overfitting adalah keadaan di mana ANN memprediksi data training dengan sangat baik, namun melenceng jauh jika diberikan data validasi. Hal ini dapat disebabkan oleh banyak hal, misalnya terlalu banyaknya neuron dan hidden layer. Sebaliknya, underfitting adalah keadaan di mana ANN tidak dapat memprediksi data dengan akurat, baik untuk data training maupun validasi. Hal ini dapat disebabkan oleh kurangnya neuron, maupun jumlah training yang kurang cukup.

Untuk dapat dengan mudah memahami, silahakan perhatikan gambar 2 berikut.

Alhamdulillah, dengan penjelasan overfitting dan underfitting maka blog ini telah selesai. Semoga blog ini dapat memberi wawasan kepada teman-teman semua. Terimakasih.

ccitonline.com

Quick Links

Algortima ANN: Perhitungan Hidden Neuron, Back Propagation, Activation dan Loss Function.

Leave a Reply Cancel reply