FeatUp нь объект таних, дүрс зураг задлах, гүн хэмжих зэрэг компьютерийн харааны даалгаврын гүйцэтгэлийг сайжруулах зорилгоор гүн сүлжээнүүдийн нарийвчлалыг сайжруулдаг алгоритм юм.
Өөрийгөө хөл хөдөлгөөн ихтэй гудамж руу хэдэн хором ширтээд, дараа нь харсан дүр төрхөө санах ойгоос нь зурахыг хичээж байна гэж төсөөлөөд үз дээ. Ихэнх хүмүүс машин, хүмүүс, явган хүний гарц гэх мэт гол объектуудын бүдүүлэг байрлалыг зурж чаддаг ч бараг хэн ч нарийн ширийн зүйлийг пикселийн нарийвчлалтайгаар зурж чадахгүй. Орчин үеийн ихэнх компьютерийн харааны алгоритмуудын хувьд мөн адил: Тэд үзэгдэлийн өндөр түвшний нарийн ширийн зүйлийг авахдаа гайхалтай боловч мэдээллийг боловсруулах явцад нарийн нарийн ширийн зүйлийг алддаг. Одоо MIT судлаачид нь алгоритмуудыг нэгэн зэрэг, доод түвшний, доод түвшний мэдээллийг нэгэн зэрэг зураг авах боломжийг олгодог системийг " онцолсон " гэж нэрлэдэг . Компьютерууд зураг, видеог үзэж “харж” сурах үедээ “онцлог” гэдэг зүйлээр дамжуулан тухайн үзэгдэлд юу байгаа талаар “санааг” бий болгодог. Эдгээр функцуудыг бий болгохын тулд гүнзгий сүлжээнүүд болон визуал суурийн загварууд нь зургийг жижиг дөрвөлжин сүлжээ болгон задалж, зураг дээр юу болж байгааг тодорхойлохын тулд эдгээр квадратуудыг бүлэг болгон боловсруулдаг. Жижиг дөрвөлжин бүр нь ихэвчлэн 16-аас 32 пикселээс бүрддэг тул эдгээр алгоритмуудын нягтрал нь тэдний ажилладаг зургуудаас хамаагүй бага байдаг. Зургийг нэгтгэн дүгнэж, ойлгохыг оролдохдоо алгоритмууд пикселийн тунгалаг байдлыг алдагдуулдаг.
.png?w=1200)
FeatUp алгоритм нь энэхүү мэдээллийн алдагдлыг зогсоож, хурд, чанарыг алдагдуулахгүйгээр гүн гүнзгий сүлжээний нягтралыг нэмэгдүүлэх боломжтой. Энэ нь судлаачдад аливаа шинэ эсвэл одоо байгаа алгоритмын нарийвчлалыг хурдан бөгөөд хялбараар сайжруулах боломжийг олгодог. Жишээлбэл, хавдрыг нутагшуулах зорилгоор уушигны хорт хавдрыг илрүүлэх алгоритмын таамаглалыг тайлбарлах гэж байна гэж төсөөлөөд үз дээ. Ангийн идэвхжүүлэлтийн газрын зураг (CAM) гэх мэт аргыг ашиглан алгоритмыг тайлбарлахын өмнө FeatUp-ийг ашиглах нь загварт нийцүүлэн хавдар хаана байрлаж болох талаар илүү нарийвчилсан (16-32x) харах боломжтой болно. FeatUp нь дадлагажигчдад загвараа ойлгоход тусалдаг төдийгүй объект илрүүлэх, семантик сегментчилэл (объект шошготой зураг дээрх пикселүүдэд шошго олгох), гүнийг тооцоолох зэрэг олон төрлийн даалгавруудыг сайжруулах боломжтой. Энэ нь бие даасан жолоодлогоос эхлээд эмнэлгийн дүрслэл хүртэл харааны хэрэглээг бий болгоход чухал ач холбогдолтой илүү нарийвчлалтай, өндөр нарийвчлалтай функцуудыг хангаснаар үүнийг хийдэг. "Компьютерийн бүх харааны мөн чанар нь гүн гүнзгий суралцах архитектурын гүнээс гарч ирдэг эдгээр гүн гүнзгий, ухаалаг шинж чанаруудад оршдог. Орчин үеийн алгоритмуудын хамгийн том сорилт бол том зургийг "ухаалаг" функцийн маш жижиг сүлжээ болгон багасгаж, ухаалаг ойлголттой болох боловч нарийн ширийн зүйлийг алддаг явдал юм" гэж MIT-ийн цахилгааны инженер, компьютерийн шинжлэх ухааны докторын оюутан Марк Хамилтон хэлэв. болон Хиймэл оюун ухааны лаборатори (CSAIL)-ийн салбар, мөн төслийн талаархи нийтлэлийн хамтран ахлагч . “FeatUp нь хоёр ертөнцийн хамгийн сайн сайхныг идэвхжүүлэхэд тусалдаг: анхны зургийн нягтрал бүхий өндөр ухаалаг дүрслэл. Эдгээр өндөр нягтралтай функцууд нь объектын илрүүлэлтийг сайжруулах, гүний таамаглалыг сайжруулахаас эхлээд өндөр нарийвчлалтай дүн шинжилгээ хийх замаар сүлжээний шийдвэр гаргах үйл явцын талаар илүү гүнзгий ойлголт өгөх хүртэл компьютерийн харааны даалгавруудын гүйцэтгэлийг ихээхэн нэмэгдүүлдэг."
Эх сурвалж: https://news.mit.edu/2024/featup-algorithm-unlocks-high-resolution-insights-computer-vision-0318
Мэдээ бэлтгэсэн : Мэдээллийн технологийн салбарын ЭША Н.Баатар