การเรียนรู้เชิงลึก

การเรียนรู้เชิงลึก (อังกฤษ: deep learning) เป็นส่วนหนึ่งของวิธีการการเรียนรู้ของเครื่องบนพื้นฐานของโครงข่ายประสาทเทียมและการเรียนรู้ค่าแทนลักษณะ การเรียนรู้สามารถเป็นได้ทั้งแบบการเรียนรู้แบบมีผู้สอน การเรียนรู้แบบกึ่งมีผู้สอน และการเรียนรู้แบบไม่มีผู้สอน[1]คำว่า "ลึก"ในความหมายมาจากการที่มีชั้นของโครงข่ายหลายชั้น ที่มีประสิทธิภาพมากขึ้น การเรียนที่สะดวกขึ้น และการเข้าใจในโครงสร้างที่ชัดเจนขึ้น

พื้นฐานของการเรียนรู้เชิงลึกคือ อัลกอริทึมที่พยายามจะสร้างแบบจำลองเพื่อแทนความหมายของข้อมูลในระดับสูงโดยการสร้างสถาปัตยกรรมข้อมูลขึ้นมาที่ประกอบไปด้วยโครงสร้างย่อย ๆ หลายอัน และแต่ละอันนั้นได้มาจากการแปลงที่ไม่เป็นเชิงเส้น[2] การเรียนรู้เชิงลึก อาจมองได้ว่าเป็นวิธีการหนึ่งของการเรียนรู้ของเครื่องที่พยายามเรียนรู้วิธีการแทนข้อมูลอย่างมีประสิทธิภาพ ตัวอย่างเช่น รูปภาพภาพหนึ่ง สามารถแทนได้เป็นเวกเตอร์ของความสว่างต่อจุดพิกเซล หรือมองในระดับสูงขึ้นเป็นเซ็ตของขอบของวัตถุต่างๆ หรือมองว่าเป็นพื้นที่ของรูปร่างใด ๆ ก็ได้ การแทนความหมายดังกล่าวจะทำให้การเรียนรู้ที่จะทำงานต่าง ๆ ทำได้ง่ายขึ้น ไม่ว่าจะเป็นการรู้จำใบหน้าหรือการรู้จำการแสดงออกทางสีหน้า การเรียนรู้เชิงลึกถือว่าเป็นวิธีการที่มีศักยภาพสูงในการจัดการกับค่าแทนลักษณะสำหรับการเรียนรู้แบบไม่มีผู้สอนหรือการเรียนรู้แบบกึ่งมีผู้สอน

นักวิจัยในสาขานี้พยายามจะหาวิธีการที่ดีขึ้นในการแทนข้อมูลแล้วสร้างแบบจำลองเพื่อเรียนรู้จากตัวแทนของข้อมูลเหล่านี้ในระดับใหญ่ บางวิธีการก็ได้แรงบันดาลใจมาจากสาขาประสาทวิทยาขั้นสูง โดยเฉพาะเรื่องกระบวนการตีความหมายในกระบวนการประมวลผลข้อมูลในสมอง ตัวอย่างของกระบวนการที่การเรียนรู้เชิงลึกนำไปใช้ได้แก่ การเข้ารหัสประสาท อันเป็นกระบวนการหาความสัมพันธ์ระหว่างตัวกระตุ้นกับการตอบสนองของเซลล์ประสาทในสมอง นักวิจัยด้านการเรียนรู้ของเครื่องได้เสนอสถาปัตยกรรมการเรียนรู้หลายแบบบนหลักการของการเรียนรู้เชิงลึกนี้ ได้แก่ โครงข่ายประสาทเทียมแบบลึก (Deep Artificial Neural Networks) โครงข่ายประสาทแบบสังวัตนาการ (Convolutional Neural Networks) โครงข่ายความเชื่อแบบลึก (Deep Belief Networks) และโครงข่ายประสาทแบบเวียนซ้ำ (Recurrent Neural Network) ซึ่งมีการนำมาใช้งานอย่างแพร่หลายในทางคอมพิวเตอร์วิทัศน์ การรู้จำเสียงพูด การประมวลผลภาษาธรรมชาติ การรู้จำเสียง และชีวสารสนเทศศาสตร์

นิยาม

การเรียนรู้เชิงลึก เป็นสาขาของการเรียนรู้ของเครื่องที่[3]

  • ประกอบไปด้วยชั้นของหน่วยประมวลผลแบบไม่เป็นเชิงเส้นหลาย ๆ ชั้น ข้อมูลขาออกของแต่ละชั้นก่อนหน้าจะเป็นข้อมูลขาเข้าของชั้นต่อไป
  • มาพื้นฐานมาจากการเรียนรู้ค่าแทนลักษณะหลาย ๆ ชั้นหรือการแทนข้อมูลแบบหลาย ๆ ชั้น (แบบไม่มีผู้สอน) กล่าวคือ ค่าแทนลักษณะในชั้นสูง ๆ จะได้มาจากค่าแทนลักษณะในชั้นที่ต่ำกว่า เพื่อสร้างมาเป็นการแทนข้อมูลแบบหลายๆชั้น
  • เป็นส่วนหนึ่งของสาขาการเรียนรู้ของเครื่องในการเรียนรู้การแทนข้อมูล

กล่าวคือ การเรียนรู้เชิงลึกประกอบไปด้วย (1) หน่วยประมวลผลแบบไม่เป็นเชิงเส้นหลายๆชั้น (2) แต่ละชั้น จะเรียนรู้การแทนค่าแทนลักษณะ อาจจะเป็นแบบมีผู้สอนหรือไม่มีผู้สอนก็ได้ ทั้งนี้ โครงสร้างในแต่ละชั้นของการเรียนรู้เชิงลึกจะขึ้นอยู่กับปัญหาที่ต้องการจะแก้ไข อาจจะเป็น hidden layer ของโครงข่ายประสาทเทียม หรือหน่วยประมวลผลตรรกะที่ซับซ้อนก็ได้ หรืออาจจะเป็นโนดใน deep generative model อย่างเช่น โครงข่ายความเชื่อแบบลึก (Deep Belief Networks) หรือเครื่องจักรโบลทซ์มันน์เชิงลึก (Deep Boltzmann Machines) ก็ได้

แนวคิดพื้นฐาน

หลักการโดยทั่วไปของการเรียนรู้เชิงลึกคือการมีหน่วยประมวลผลหลายๆชั้น ข้อมูลขาเข้าในแต่ละชั้นได้มาจากปฏิสัมพันธ์กับชั้นอื่น ๆ ทั้งนี้ การเรียนรู้เชิงลึกพยายามหาความสัมพันธ์ที่ล้ำลึกมากขึ้น นั่นคือ เมื่อมีจำนวนของชั้นและหน่วยประมวลผลที่อยู่ในชั้นมากขึ้น ข้อมูลในชั้นสูง ๆ ก็จะยิ่งล้ำลึกซับซ้อน (abstract) มากขึ้น

สถาปัตยกรรมโครงสร้างของการเรียนรู้เชิงลึกมักจะสร้างแบบเป็นชั้นๆ (layer-by-layer) ไปด้วยวิธี greedy method ซึ่งการหาสิ่งที่ล้ำลึกซับซ้อนมากขึ้นไปเรื่อย ๆ ในแต่ละชั้นนี้เองที่ทำให้การเรียนรู้เชิงลึกมีประสิทธิภาพมากกว่าวิธีการอื่น ๆ[4]

ตัวอย่างเช่น ข้อมูลในชั้นต้น ๆ อาจจะเรียนรู้ว่าภาพที่เข้ามาประกอบด้วยเส้นต่าง ๆ ชั้นที่สูงไปนำเส้นต่าง ๆ มาประกอบกันเป็นรูปสี่เหลี่ยม และชั้นต่อ ๆ มาคือการหาความสัมพันธ์ของเส้นสี่เหลี่ยมจนกระทั่งคอมพิวเตอร์รู้ได้ว่าภาพที่เข้ามาเป็นภาพของธงชาติ เป็นต้น

ในการเรียนรู้แบบมีผู้สอนนั้น การเรียนรู้เชิงลึกจะช่วยลดภาระในการหาค่าแทนลักษณะที่เกี่ยวข้อง เพราะวิธีการนี้จะแปลงข้อมูลไปสู่รูปแบบอื่นในระดับที่สูงขึ้นโดยอัตโนมัติ และให้ความสำคัญกับข้อมูลที่ซ้ำซ้อนลดลงไปด้วย นอกจากนี้ ยังสามารถนำไปปรับใช้กับการเรียนรู้แบบไม่มีผู้สอนได้ด้วย

การตีความ

เราอาจจะตีความการเรียนรู้เชิงลึกได้ 2 แนวทางคือ ใช้ทฤษฎีประมาณค่าสากล (universal approximation theorem) และใช้การอนุมานด้วยความน่าจะเป็น (probabilistic inference)

ทฤษฎีประมาณค่าสากล สนใจความสามารถของโครงข่ายประสาทแบบป้อนไปข้างหน้า (feedforward neural networks) ที่มี hidden layer เพียงชั้นเดียวและมีขนาดจำกัด เพื่อประมาณค่าของฟังก์ชันต่อเนื่อง[5][6][7][8][9] โดย George Cybenko ได้พิสูจน์การเรียนรู้เชิงลึกด้วยทฤษฎีนี้ โดยใช้ฟังก์ชันซิกมอยด์ในปี 1989[10] และต่อมา Hornik นำไปพิสูจน์ต่อสำหรับ feedforward neural networks ที่มีหลายๆชั้น ในปี 1991[11]

ส่วนการตีความด้วยหลักความน่าจะเป็นนั้น มีแนวคิดมาจากการเรียนรู้ของเครื่อง[12] เสนอขึ้นครั้งแรกโดยเจฟฟรีย์ ฮินตัน, โยชัว เบนจีโอ, อียาน เลอเกิง และเยือร์เกิน ชมิทฮูเบอร์ นักวิทยาศาสตร์ผู้บุกเบิกสาขาการเรียนรู้เชิงลึกยุคใหม่ แนวคิดนี้จะเน้นการปรับโครงสร้างการเรียนรู้เชิงลึกด้วยการหาโมเดลค่าที่ดีที่สุด (optimization) ที่ดีทั้งสำหรับข้อมูลการสอน (training) และข้อมูลการทดสอบ (testing) ทั้งนี้ การอนุมานด้วยความน่าจะเป็นนั้นจะมองว่า activation nonlinearity นั้นเป็นฟังก์ชันการกระจายแบบสะสม (Cumulative distribution function)[13] ทำให้เกิดเทคนิคการใช้ dropout เป็นตัวควบคุม (regularizer) สำหรับโครงข่ายประสาทเทียม[14]

อ้างอิง

  1. Bengio, Yoshua; LeCun, Yann; Hinton, Geoffrey (2015). "Deep Learning". Nature. 521 (7553): 436–444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. S2CID 3074096.
  2. L. Deng and D. Yu (2014) "Deep Learning: Methods and Applications" http://research.microsoft.com/pubs/209355/DeepLearning-NowPublishing-Vol7-SIG-039.pdf
  3. Deng, L.; Yu, D. (2014). "Deep Learning: Methods and Applications" (PDF). Foundations and Trends in Signal Processing. 7 (3–4): 1–199. doi:10.1561/2000000039.
  4. Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798–1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50.
  5. Balázs Csanád Csáji (2001). Approximation with Artificial Neural Networks; Faculty of Sciences; Eötvös Loránd University, Hungary
  6. Cybenko (1989). "Approximations by superpositions of sigmoidal functions" (PDF). Mathematics of Control, Signals, and Systems. 2 (4): 303–314. doi:10.1007/bf02551274. คลังข้อมูลเก่าเก็บจากแหล่งเดิม (PDF)เมื่อ 2015-10-10. สืบค้นเมื่อ 2017-07-02.
  7. Hornik, Kurt (1991). "Approximation Capabilities of Multilayer Feedforward Networks". Neural Networks. 4 (2): 251–257. doi:10.1016/0893-6080(91)90009-t.
  8. Haykin, Simon S. (1999). Neural Networks: A Comprehensive Foundation. Prentice Hall. ISBN 978-0-13-273350-2.
  9. Hassoun, Mohamad H. (1995). Fundamentals of Artificial Neural Networks. MIT Press. p. 48. ISBN 978-0-262-08239-6.
  10. Cybenko (1989). "Approximations by superpositions of sigmoidal functions" (PDF). Mathematics of Control, Signals, and Systems. 2 (4): 303–314. doi:10.1007/bf02551274. คลังข้อมูลเก่าเก็บจากแหล่งเดิม (PDF)เมื่อ 2015-10-10. สืบค้นเมื่อ 2017-07-02.
  11. Hornik, Kurt (1991). "Approximation Capabilities of Multilayer Feedforward Networks". Neural Networks. 4 (2): 251–257. doi:10.1016/0893-6080(91)90009-t.
  12. Murphy, Kevin P. (24 August 2012). Machine Learning: A Probabilistic Perspective. MIT Press. ISBN 978-0-262-01802-9.
  13. Murphy, Kevin P. (24 August 2012). Machine Learning: A Probabilistic Perspective. MIT Press. ISBN 978-0-262-01802-9.
  14. Hinton, G. E.; Srivastava, N.; Krizhevsky, A.; Sutskever, I.; Salakhutdinov, R.R. (2012). "Improving neural networks by preventing co-adaptation of feature detectors". arXiv:1207.0580 [math.LG].

Read other articles:

Bilanz Teilnehmende Rundfunkanstalt Erste Teilnahme 2007 Anzahl der Teilnahmen 15 (Stand 2023) Höchste Platzierung 9 (2010, 2011) Höchste Punktzahl 136 (2010) Niedrigste Punktzahl 15 (2014 SF) Punkteschnitt (seit erstem Beitrag) 72,25 (Stand 2019) Punkteschnitt pro abstimmendem Land im 12-Punkte-System 1,50 (Stand 2019) Dieser Artikel befasst sich mit der Geschichte Georgiens als Teilnehmer am Eurovision Song Contest. Inhaltsverzeichnis 1 Regelmäßigkeit der Teilnahme und Erfolge im Wettbe...

 

Олівер ЕльйотOliver ElliotЗагальна інформаціяГромадянство  ЧиліНародження 19 червня 1987(1987-06-19) (36 років)Вінья-дель-Мар, Вальпараїсо, V Регіон Вальпараїсо, ЧиліЗріст 190 см[1]Вага 81 кг[1]Alma mater Pontifical Catholic University of ValparaísodСпортВид спорту спортивне плавання[2]Дисципл...

 

Sint-Theresia van het Kind Jezuskerk De Sint-Theresia van het Kind Jezuskerk (Église Sainte-Thérèse de l'Enfant Jézus) is de parochiekerk van de in de deelgemeente Andrimont van de Belgische gemeente Dison gelegen buurtschap Ottomont, gelegen aan de Rue Albert de 't Serclaes (Sentier Noir). De kerk werd in de jaren '60 van de 20e eeuw gebouwd voor een uitbreidingswijk die Nouveau Monde genoemd werd. Het is een doosvormig bouwwerk in modernistische stijl. Baksteen en beton zijn de material...

Pasarela del Museo de la Ciencia Pasarela peatonal vista desde la ribera izquierda del Pisuerga. Al fondo el museo de la CienciaLocalización geográficaCruza Río PisuergaCoordenadas 41°38′14″N 4°44′37″O / 41.637277777778, -4.7435277777778Localización administrativaPaís España EspañaComunidad Castilla y León Castilla y LeónLocalidad  ValladolidCaracterísticasMaterial Hormigón, acero y cablesUso PeatonalLargo 234,54 mNº de vanos 4Man...

 

Reformierte Kirche Die evangelisch-reformierte Kirche in Oldersum, einem Ortsteil der ostfriesischen Gemeinde Moormerland, wurde 1922/1923 erbaut, nachdem die Vorgängerkirche aus dem frühen 15. Jahrhundert 1916 bei einem Brand zerstört wurde. Inhaltsverzeichnis 1 Geschichte 2 Ausstattung 3 Orgel 4 Siehe auch 5 Literatur 6 Weblinks 7 Einzelnachweise Geschichte Innenraum Wann die erste Kirche in Oldersum errichtet wurde, ist bis dato unbekannt. Um 1400 errichteten die Einwohner des Ortes auf...

 

This article relies largely or entirely on a single source. Relevant discussion may be found on the talk page. Please help improve this article by introducing citations to additional sources.Find sources: 1945 in Japan – news · newspapers · books · scholar · JSTOR (March 2019) List of events ← 1944 1943 1942 1945 in Japan → 1946 1947 1948 Decades: 1920s 1930s 1940s 1950s 1960s See also:Other events of 1945History of Japan  • ...

2011 video game 2011 video gameUFC Personal Trainer: The Ultimate Fitness SystemDeveloper(s)Heavy Iron StudiosPublisher(s)THQPlatform(s)PlayStation 3, Xbox 360, WiiReleasePlayStation 3 & Xbox 360NA: June 28, 2011[1]EU: July 1, 2011AU: July 7, 2011WiiNA: July 12, 2011AU: July 13, 2011EU: July 22, 2011Genre(s)Sports, fightingMode(s)Single-player UFC Personal Trainer: The Ultimate Fitness System is a fighting and fitness video game created by THQ. The game requires the Kinect accesso...

 

さいたま市立谷田小学校 北緯35度51分23秒 東経139度40分40秒 / 北緯35.856333度 東経139.677889度 / 35.856333; 139.677889座標: 北緯35度51分23秒 東経139度40分40秒 / 北緯35.856333度 東経139.677889度 / 35.856333; 139.677889過去の名称 太田窪学校谷田学校浦和第四小学校浦和市立谷田小学校国公私立の別 公立学校設置者 さいたま市設立年月日 1873年(明治6年)3...

 

The topic of this article may not meet Wikipedia's notability guideline for television. Please help to demonstrate the notability of the topic by citing reliable secondary sources that are independent of the topic and provide significant coverage of it beyond a mere trivial mention. If notability cannot be shown, the article is likely to be merged, redirected, or deleted.Find sources: Robin TV series – news · newspapers · books · scholar · JSTOR (...

United States historic placeColumbus Tuttle HouseU.S. National Register of Historic PlacesMichigan State Historic Site Location within the state of MichiganShow map of MichiganLocation within the United StatesShow map of the United StatesLocation610 N. Main St.,Lapeer, MichiganCoordinates43°03′18″N 83°19′07″W / 43.05500°N 83.31861°W / 43.05500; -83.31861 (Columbus Tuttle House)Arealess than one acreBuilt1890 (1890)Built byDaniel WadsworthArchit...

 

Gereja Santa Elisabet dari Hungaria, Kyrenia Secara resmi, tidak ada bangunan berstatus katedra di Republik Turki Siprus Utara. Meski demikian, umat Katolik tetap ada di Republik Turki Siprus Utara. Adapun beberapa gereja Katolik di Republik Turki Siprus Utara ialah: Katolik Gereja Santa Elisabet dari Hungaria, Kyrenia[1] Lihat juga Gereja Katolik Roma Gereja Katolik di Republik Turki Siprus Utara Daftar katedral Referensi ^ Gereja Katolik Santa Elisabet dari Hungaria di Kyrenia lbsDa...

 

Entity responsible for the creation of the universe Part of a series onTheism Types of faith Agnosticism Apatheism Atheism Deism Henotheism Ietsism Ignosticism Monotheism Monism Dualism Monolatry Kathenotheism Omnism Pandeism Panentheism Pantheism Polytheism Transtheism Specific conceptions Brahman Creator Demiurge Deus Father Form of the Good God Great Architect Monad Mother Summum bonum Supreme Being Sustainer The Lord Trinity Tawhid Ditheism Monism Personal Unitarianism In particular relig...

DiplorrhinaTemporal range: early Middle Cambrian earliest Amgan to latest Mayan PreꞒ Ꞓ O S D C P T J K Pg N ↓ Scientific classification Kingdom: Animalia Phylum: Arthropoda Class: Trilobita Order: Agnostida Suborder: Agnostina Superfamily: Agnostoidea Family: Peronopsidae Genus: DiplorrhinaHawle & Corda, 1847[1] species D. triplicata Hawle & Corda, 1847 (type) D. cuneifera (Barrande, 1846) synonyms Battus cuneiferus, Peronopsis cuneifera D. lata (Shabanov, 1972) syno...

 

Municipality of Slovenia Municipality in SloveniaMunicipality of Bovec Občina BovecMunicipality Coat of armsLocation of the Municipality of Bovec in SloveniaCoordinates: 46°20′0″N 13°33′0″E / 46.33333°N 13.55000°E / 46.33333; 13.55000Country SloveniaGovernment • MayorValter MlekužArea • Total367.3 km2 (141.8 sq mi)Elevation[1]448 m (1,470 ft)Population (2010)[2] • Total...

 

Agricultural machine A threshing machine in operation A threshing machine or a thresher is a piece of farm equipment that separates grain seed from the stalks and husks. It does so by beating the plant to make the seeds fall out. Before such machines were developed, threshing was done by hand with flails: such hand threshing was very laborious and time-consuming, taking about one-quarter of agricultural labour by the 18th century.[1] Mechanization of this process removed a substantial...

Castle in Scarborough, North Yorkshire, England Scarborough CastlePart of North YorkshireScarborough, England The keep and curtain wallScarborough CastleCoordinates54°17′13″N 0°23′17″W / 54.287°N 0.388°W / 54.287; -0.388Height49 feet (15 m)Site informationOwnerThe CrownControlled byEnglish HeritageConditionRuinousSite historyBuilt12th centuryBuilt byWilliam le GrosIn usePublic accessMaterialsLimestone SandstoneEventsEnglish Civil War Sca...

 

Men's lightweight double sculls at the 2022 Asian GamesVenueFuyang Water Sports CentreDate20–24 September 2022Competitors24 from 12 nationsMedalists  Fan JunjieSun Man   China Arjun Lal JatArvind Singh   India Shakhzod NurmatovSobirjon Safaroliev   Uzbekistan← 20182026 → Rowing at the2022 Asian GamesSingle scullsmenwomenDouble scullsmenwomenQuadruple scullsmenwomenCoxless pairmenwomenCoxless fourmenwomenE...

 

Opie and Anthony's Traveling VirusStand-up comedy tour by Opie and AnthonyStart dateAugust 5, 2006End dateSeptember 2, 2008Legs3No. of shows13 Opie and Anthony's Traveling Virus was a stand-up comedy tour hosted by American radio personalities Gregg Opie Hughes and Anthony Cumia that featured a roster of comedians from their radio show, Opie and Anthony. There were three editions of the tour between 2006 and 2008; the first consisted of 4 dates, the second had 8 dates, and the third consisted...

Finnish comics artist Tuuli Hypén at Helsinki Book Fair, 2011 Tuuli Hypén at the Turku Book Fair, 2012 Tuuli Hypén (born 1983, Turku)[1] is a Finnish comics artist known especially for her Nanna comics.[2] Nanna cartoons have been published in several albums and in newspapers such as Turun Sanomat and Helsingin Sanomat,[3] and was a candidate for the Sarjakuva-Finlandia [fi] prize in 2011.[4] In addition to comics, Hypén has published two child...

 

You can help expand this article with text translated from the corresponding article in Luxembourgish. (June 2016) Click [show] for important translation instructions. View a machine-translated version of the Luxembourgish article. Machine translation, like DeepL or Google Translate, is a useful starting point for translations, but translators must revise errors as necessary and confirm that the translation is accurate, rather than simply copy-pasting machine-translated text into the Eng...

 

Strategi Solo vs Squad di Free Fire: Cara Menang Mudah!