20/08/2026
Neural Network မှာ ရှိတဲ့ Activation function တစ်ခု
ဘယ်လိုအလုပ်လုပ်သလဲ။
Neural Network အကြောင်းပြောတဲ့အခါ
Layer,
Weight,
Bias,
Neuron စတဲ့စကားလုံးတွေကို
မကြာခဏ ကြားရပါတယ်။
ဒါတွေက Neural Network ရဲ့ အစိတ်အပိုင်းတွေပါပဲ။
ဒါပေမယ့် ရှုပ်ထွေးတဲ့ Data Pattern တွေကို သင်ယူနိုင်အောင်
ကူညီပေးနေတဲ့ အစိတ်အပိုင်းတစ်ခုကတော့
Neural Network ထဲက အဓိကကျတဲ့
Activation Function လို့ခေါ်တဲ့ကောင်ပဲဖြစ်ပါတယ်။
ဒါဆို Activation Function က ဘာလုပ်ပေးတာလဲ?
Neuron တစ်ခုက သူ့ဆီကိုဝင်လာတဲ့
Input တွေကို Weight တွေနဲ့မြှောက်ပြီး
စုစုပေါင်းတွက်ချက်ပါတယ်။
အဲဒီနောက် Bias ကိုထည့်ပါတယ်။
သင်္ချာနည်းအရဆိုရင်တော့ အောက်က ညီမျှခြင်းပုံစံလို့ နားလည်လို့ရပါတယ်။
အလယ်တန်း သင်ရိုးမှာသင်ရတဲ့ straight line formula ကိုပဲ မြင်လိုက်လို့ရပါတယ်။
z = w₁x₁ + w₂x₂ + ... + b
ပြီးတဲ့အခါ ရလာတဲ့တန်ဖိုးကို
Activation Function ထဲထည့်ပြီး ပြောင်းလဲပေးပါတယ်။
ရလာတဲ့ Output ကိုတော့ နောက် Layer ဆီ ဆက်ပို့ပေးပါတယ်။
ဒါက hidden layer တိုင်းမှာ အလုပ်လုပ်နေတဲ့ ပုံစံပါပဲ။
Activation Function ဘာကြောင့်လိုအပ်တာလဲ?
Activation Function မသုံးဘူးဆိုရင်
Neural Network မှာ Layer တွေ
အများကြီးရှိနေရင်တောင်
Model တစ်ခုလုံးဟာ အခြေခံအားဖြင့်
Linear Model တစ်ခုလိုပဲ အလုပ်လုပ်နေမှာ ဖြစ်ပါတယ်။
လက်တွေ့ဘဝမှာ ရှိနေတဲ့ data အချက်အလက်တွေက အများကြီး ရှုပ်ထွေးပြီး linear လို တဖြောင့်တည်း မသွားပါဘူး။
ဒါကြောင့် ရှုပ်ထွေးတဲ့ Relationship တွေ၊ Data Pattern တွေကို သင်ယူနိုင်မှာမဟုတ်ပါဘူး။
Activation Function က Non-linearity သဘောတရားကို Neural Network ထဲ ထည့်ပေးပါတယ်။
=-=-=-=-=-=-
Non-linearity ကြောင့် Neural Network တွေဟာ
ရှုပ်ထွေးတဲ့ Data Pattern တွေကို သင်ယူနိုင်လာပါတယ်။
အဲ့ဒါကြောင့်ပဲ Neural Network တွေကို
- ပုံတွေကို ခွဲခြားသိမြင်နိုင်တာမျိုး၊
- Natural Language Processing (NLP) နဲ့
- speech recognition စတဲ့ တခြား မြောက်မြားစွာသော
- AI Applications တွေမှာ အသုံးပြုနိုင်လာတာဖြစ်ပါတယ်။
Activation Function တွေရဲ့ output range ကရော?
Activation Function အမျိုးအစားပေါ်မူတည်ပြီး Input တန်ဖိုးတွေကို မတူညီတဲ့ပုံစံတွေနဲ့ Transform လုပ်ပေးပါတယ်။
Sigmoid ကို သုံးရင် Output ကို 0 နဲ့ 1 ကြားအတွင်း ရရှိစေပါတယ်။
Tanh ဆိုရင်တောါ Output ကို -1 နဲ့ 1 ကြားအတွင်း ရရှိစေပါတယ်။
ReLU → Negative Value တွေကို 0 အဖြစ်ပြောင်းပြီး Positive Value တွေကို ဆက်လက်ပေးပို့ပါတယ်။
ဥပမာအားဖြင့် ပြောရင်တော့
ReLU(x) = max(0, x)
ဒါလေးက အရမ်းရိုးရှင်းပေမယ့် ReLU ဟာ Deep Learning မှာ အသုံးများတဲ့ Activation Function တစ်ခုဖြစ်ပါတယ်။
Neural Network တစ်ခုလုံးမှာ Activation Function တစ်မျိုးတည်းပဲ သုံးရမှာလား?
ဒါလည်း စိတ်ဝင်စားစရာ ကောင်းပါတယ်။
Hidden Layers တွေမှာ Activation Function တစ်မျိုးတည်းကို
အသုံးများပေမယ့် Layer တိုင်းမှာ
မဖြစ်မနေ Activation Function တစ်မျိုးတည်းကို
သုံးရမယ်လို့ သတ်မှတ်ထားတာ မရှိပါဘူး။
ဥပမာ Hidden Layers တွေမှာ
ReLU ကို အသုံးပြုပြီး
Output Layer မှာ Problem အမျိုးအစားပေါ်မူတည်ပြီး
Sigmoid ဒါမှမဟုတ် Softmax ကို အသုံးပြုနိုင်ပါတယ်။
ဒါကြောင့်
“ဘယ် Activation Function က အကောင်းဆုံးလဲ?”
ဆိုတာထက်
“ဒီ Problem နဲ့ ဒီ Layer အတွက် ဘယ် Activation Function က သင့်တော်လဲ?”
ဆိုတာက ပိုအရေးကြီးပါတယ်။
Real-world AI မှာ ဘာကြောင့်အရေးကြီးတာလဲ?
Activation Function ရွေးချယ်မှုက
Model ရဲ့
- Learning Process,
- Gradient Behavior နဲ့
- Performance တွေအပေါ် သက်ရောက်မှုရှိနိုင်ပါတယ်။
ရှင်းရှင်း ပြောရရင်တော့
Activation Function က Neural Network အတွက်
ရှုပ်ထွေးတဲ့ Data Pattern တွေကို သင်ယူနိုင်အောင်
ကူညီပေးတဲ့ အဓိက အစိတ်အပိုင်း တစ်ခုပါပဲ။
နောက်တစ်ဆင့်မှာတော့ Sigmoid, Tanh, ReLU, Softmax စတဲ့ Activation Function တစ်ခုချင်းစီရဲ့ Mathematics, အားသာချက်/အားနည်းချက်တွေနဲ့
ဘယ်အချိန်မှာ ဘယ် Function ကို ရွေးချယ်ပြီး အသုံးပြုကြရမလဲဆိုတာကို ဆက်ပြီး လေ့လာကြရအောင်။
