Аж үйлдвэрийн 4-р
хувьсгалын тэргүүлэх чиглэлүүдийн нэг болох хиймэл оюун ухааны судалгаанд машин сургалт, гүн сургалтын
загваруудыг өргөнөөр ашиглаж байна. Эдгээр загваруудын үндсэн архитектур нь
хүний тархины үйл ажиллагаанаас санаа авч дуурайлган хийсэн хиймэл нейроны
сүлжээ байдаг. Машин сургалт, гүн сургалтын аргуудын үндсэн ажиллах зарчим нь тухайн шийдвэрлэх гэж буй
асуудалд хамаарах өгөгдлүүдийг математикийн хэл рүү хөрвүүлж, математикийн
шугаман ба шугаман бус хувиргалтуудыг гүйцэтгэх нейроны сүлжээг байгуулна.
Улмаар тухайн сүлжээнээс гарах гаралтын утгыг ашиглан зорилгын функц буюу
алдааны функцийг тодорхойлох бөгөөд зорилгын функцэд оптимизацийн арга
техникүүдийг хэрэглэж, функцийн параметрүүдийн оновчтой утгыг олсноор тухайн
тавигдсан асуудлыг зохистой шийдвэрлэх боломж үүсдэг. Тухайн тавигдсан асуудлын
шийдвэрийн түвшинг өндөр байлгахад нейроны сүлжээг оновчтой зохион байгуулах,
сүлжээнд ашиглаж буй шугаман бус хувиргалтуудыг гүйцэтгэх идэвхжүүлэгч (activation)
функцүүдийг оновчтой сонгох сонголт ихээхэн нөлөөлдөг. Идэвхжүүлэгч функцэд
Сигмоид, Софтмакс, Релу гэх мэт шугаман бус функцүүд түгээмэл ашиглагддаг
бөгөөд сүүлийн жилүүдэд
.jpg?w=1200)
Зураг 1. Релу ба рационал функц.
Рационал идэвхжүүлэгч функцүүдийг ашиглахын давуу тал нь өмнөх үеийн уламжлалт идэвхжүүлэгч функцүүдтэй харьцуулахад сургалтын зорилгод илүү хурдан хүрдэг нь батлагдсан бөгөөд үүнийгээ дагаад сургалтын алдаа 2-р зурагт үзүүлсний дагуу илүү хурдан буурах юм.
.png?w=1200)
Зураг 2. Релу, Синусоид ба Рационал функцүүдийн сургалтын алдааны харьцуулалт.
Рационал идэвхжүүлэгч функцийг
ашигласан Рационал нейроны сүлжээ нь функцүүдийн хэлбэр болон нийлэлтээс
шалтгаалан шугаман бус регресс хийхэд илүү тохиромжтой байна.
Мэдээ бэлтгэсэн: Симуляци, тооцооллын салбар - Б.Төмөрхуяг
Эх сурвалж: University of Oxford – Mathematical Institute: https://www.maths.ox.ac.uk/node/39104