Función de activación

Función de activación loxística.

A función de activación dun nodo nunha rede neural artificial é unha función que calcula a saída do nodo baseándose nas súas entradas individuais e os seus pesos. Os problemas non triviais poden ser solucionados utilizando só uns cantos nodos se a función de activación é non linear.[1] As funcións de activación modernas inclúen a versión suave da ReLU, a GELU, o cal foi utilizado no 2018 modelo BERT, a función loxística (sigmoide) utilizada no modelo de recoñecemento da fala de 2012 desenvolvido por Hinton et al., a ReLU utilizada no modelo de visión por computador AlexNet de 2012 e no modelo ResNet de 2015.[2][3][4]

Comparación de funcións de activación

Á parte do seu rendemento empírico, as funcións de activacións tamén teñen propiedades matemáticas diferentes:

Non linear
Cando a función de activación é non linear, pódese probar que unha rede neural de dúas capas pode ser un aproximador universal de funcións.[5] Isto coñécese como o teorema de aproximación universal. A función de activación identidade non satisfai esta propiedade. Cando múltiples capas utilizan a función de activación identidade, toda a rede é equivalente a un modelo dunha única capa.
Imaxe
Cando a imaxe da función de activación é finita, os métodos de adestramento baseados non descenso do gradiente tenden a ser máis estables, porque as presentacións de patróns afectan de forma significativa só a un número limitado de pesos. Cando a imaxe é infinita, o adestramento é xeralmente máis eficiente porque as presentacións de patróns afectan de forma significativa á maioría dos pesos. No caso último, tipicamente son necesarios taxas de aprendizaxe máis pequenas.
Continuamente diferenciable
Esta propiedade é desexable (ReLU non é continuamente diferenciable e ten algúns problemas coa optimización baseada en gradientes, mais aínda é posible) para os métodos de optimización baseados no gradiente. A función de activación do paso binario non é diferenciable no 0, e a súa derivada é 0 no resto de valores, polo que os métodos baseados no gradiente non poden facer ningún progreso con ela.[6]

Estas propiedades non inflúen decisivamente no rendemento, nin son as únicas propiedades matemáticas que poden ser útiles. Por exemplo, a imaxe estritamente positiva da función de activación suave positiva faina adecuada para predicir varianzas en auto-codificadores variacionais.

Aspectos matemáticos

As funcións de activación máis comúns poden dividirse en tres categorías: funcións de crista, funcións radiais e funcións de prego.

Unha función de activación considérase saturante se . É non saturante se . As funcións de activación non saturantes, como ReLU, poden ser mellores que as saturantes, porque son menos propensas a sufrir o problema do esvaecemento do gradiente.[3]

Funcións de activación de crista

As funcións de crista son funcións de varias variables que actúan sobre unha combinación linear das variables de entrada. Algúns exemplos utilizados a miúdo son os seguintes:

  • Función de activación linear:
  • Función de activación ReLU:
  • Función de activación Heaviside:
  • Función de activación loxística:

En redes neurais inspiradas na bioloxía, a función de activación é normalmente unha abstracción que representa a taxa de impulso de potenciais de acción na célula.[7] Na súa forma máis sinxela, esta función é binaria, é dicir, ou a neurona está nun impulso ou non. As neuronas tampouco poden facer impulsos máis rápido que un determinado valor, motivando as funcións de activación sigmoides, cuxa imaxe é un intervalo finito.

A función é a seguinte, , onde é a función de paso Heaviside.

Se unha liña ten unha pendente positiva, pode reflectir o aumento na taxa de impulsos que ocorre a medida que aumenta a corrente de entrada. Tal función sería da forma .

Funcións de activación de unidade linear rectificada e unidade linear de erro gaussiano.

Funcións de activación radiais

Unha clase especial de funcións de activación son as funcións radiais básicas (RBFs, das súas siglas en inglés), utilizadas en redes de RBF, as cales son extremadamente eficientes como aproximadores universais de funcións. Estas funcións de activación poden tomar moitas formas, pero normalmente atópanse como algunha das funcións seguintes:

  • Función gaussiana:
  • Función multicadrática:
  • Función multicadrática inversa:
  • Splines poliharmónicos

Onde é o vector representando o centro da función e e os parámetros que afectan á dispersión do radio.

Funcións de activación de prego

As funcións de activación de prego son amplamente usadas nas capas de agrupamento nas redes neurais convolucionais e en capas de saída de redes de clasificación multiclases. Estas funcións de activación realizan agregación sobre as entradas, como tomar a media, mínimo ou máximo. En problemas de clasificación multiclase, utilízase con frecuencia a función de activación softmax.

Táboa de funcións de activación

A seguinte táboa compara as propiedades de varias funcións de activación:

Nome Gráfica Función, Derivada de , Rango Diferenciabilidade
Identidade
Paso binario
Loxística, sigmoide ou paso suave
Tanxente hiperbólica (tanh)
Tanxente hiperbólica de Soboleva (smht)
Unidade linear rectificada (ReLU)
Unidade linear de erro gaussiano (GELU) Visualization of the Gaussian Error Linear Unit (GELU)
Suave positiva[8]
Unidade linear exponencial (ELU)
Con parámetro
Unidade linear exponencial escalada (SELU)[9]
Con parámetros e
Unidade linear rectificada con fuga (Leaky ReLU)[10]
Unidade linear rectificada paramétrica (PReLU)
Con parámetro
Unidade linear sigmoide (SiLU)[11] Swish Activation Function
Gaussiana

A seguinte táboa lista funcións de activación que non son funcións dun só prego x da capa ou capas anteriores:

Nome Función, Derivada, Imaxe Diferenciabilidade
Softmax , i = 1, …, J [1]
Maxout[12]
^ Aquí, é a Delta de Kronecker.

Funcións de activación cuánticas

Nas redes neurais cuánticas programadas en computadoras cuánticas de modelo de porta, baseadas en perceptróns cuánticos en lugar de circuítos cuánticos variacionales, a non linearidade da función de activación pódese implementar sen necesidade de medir a saída de cada perceptrón en cada capa. As propiedades cuánticas cargadas dentro do circuíto, como a superposición, poden ser preservadas creando a serie de Taylor do argumento calculado polo propio perceptrón, con circuítos cuánticos axeitados que calculan as potencias ata un grao de aproximación desexado. Debido á flexibilidade de ditos circuítos cuánticos, poden ser deseñados para aproximar calquera función de activación clásica arbitraria.[13]

Vantaxes e inconvenientes dalgunhas funcións de activación

Sigmoide

Esta función de activación presenta numerosos inconvenientes, tales como que a saída non está centrada no cero (o que deriva en problemas coa actualización de pesos polas direccións do gradiente), que as neuronas saturadas "matan" ao gradiente e que a operación expoñencial é cara computacionalmente.

Tanxente hiperbólica

Neste caso, a tanxente hiperbólica si que está centrada no cero. Malia isto, comparte o resto de desvantaxes coa función sigmoide.

ReLU

Esta función de activación non satura (pois é positiva), é eficiente computacionalmente e ten unha converxencia rápida (ao redor de 6 veces máis rápida que as dúas funcións anteriores). Porén, a saída non está centrada no cero e as neuronas poden morrer (polo que hai que escoller unha taxa de aprendizaxe axeitada, xeralmente baixa).

ReLU con fuga

Nesta función as neuronas non morren e a media das saídas está cerca do cero, alén de ter tódalas vantaxes da ReLU.

Maxout

Nesta función de activación as neuronas tampouco morren, mais o número de parámetros dóbrase.

ELU

Esta función ten tódalas vantaxes da ReLU salvo o seu tempo de cómputo, pois utiliza a aplicación expoñencial, que demora os cálculos.[14]

Notas

  1. Hinkelmann, Knut. "Neural Networks" (PDF). University of Applied Sciences Northwestern Switzerland. Arquivado dende o orixinal (PDF) o 06 de outubro de 2018. Consultado o 17 de agosto de 2024. 
  2. Hinton, Geoffrey; Deng, Li; Yu, Dong; Dahl, George; Mohamed, Abdel-rahman; Jaitly, Navdeep; Senior, Andrew; Vanhoucke, Vincent; Nguyen, Patrick (2012). "Deep Neural Networks for Acoustic Modeling in Speech Recognition". IEEE Signal Processing Magazine 29: 82.97. doi:10.1109/MSP.2012.2205597. 
  3. 3,0 3,1 Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E. (24-05-2017). "ImageNet classification with deep convolutional neural networks". Communications of the ACM 60: 84–90. ISSN 0001-0782. doi:10.1145/3065386. 
  4. Al-johania, Norah; Elrefaei, Lamiaa (30-06-2019). "Dorsal Hand Vein Recognition by Convolutional Neural Networks: Feature Learning andn Transfer Learning Approaches" (PDF). International Journal of Intelligent Engineering and Systems 12: 178–191. doi:10.22266/ijies2019.0630.19. 
  5. Cybenko, G. (Decembro 1989). "Approximation by superpositions of a sigmoidal function" (PDF). Mathematics of Control, Signals, and Systems (en inglés) 2: 303–314. ISSN 0932-4194. doi:10.1007/BF02551274. 
  6. Snyman, Jan (03-03-2005). Practical Mathematical Optimization: An Introduction to Basic Optimization Theory and Classical and New Gradient-Based Algorithms. Springer Science & Business Media. ISBN 978-0-387-24348-1. 
  7. Hodgkin, A. L.; Huxley, A. F. (28-08-1952). "A quantitative description of membrane current and its applicatiton to conduction and excitation in nerve". The Journal of Physiology 117: 500–544. PMC 1392413. PMID 12991237. doi:10.1113/jphysiol.1952.sp004764. 
  8. Glorot, Xavier; Bordes, Antoine; Bengio, Yoshua (2011). "Deep sparse rectifier neural networks" (PDF). International Conference on Artificial Intelligence and Statistics. 
  9. Klambauer, Günter; Unterthiner, Thomas; Mayr, Andreas; Hochreiter, Sepp (08-06-2017). "Self-Normalizing Neural Networks". Advances in Neural Information Processing Systems 30. arXiv:1706.02515. 
  10. Maas, Andrew; Jannun, Awni Y.; Ng, Andrew Y. (Xuño 2013). "Rectifier nonlinearities improve neural nertwork acoustic models". Proc. ICML 30. 
  11. Elfwing, Stefan; Uchibe, Eiji; Doya, Kenji (2018). "Sigmoid-Weighted Linera Units for Neural Network Function Approximation in Reinforcement Learning". Neural Networks 107: 3–11. PMID 29395652. arXiv:1702.03118. doi:10.1016/j.neunet.2017.12.012. 
  12. Goodfellow, Ian J.; Warde-Farley, David; Mirza, Mehdi; Courville, Aaron; Bengio, Yochua (2013). "Maxout Networks". JMLR Workshop and Conference Proceedings 28: 1319–1327. arXiv:1302.4389. 
  13. Maronese, Marco; Destri, Claudio; Prati, Enrico (2022). "Quantum activation functions for quantum neural networks". Quantum Information Processing 21. Bibcode:2022QuIP...21..128M. ISSN 1570-0755. arXiv:2201.03700. doi:10.1007/s11128-022-03466-0. 
  14. Li, Fei Fei; Johnson, Justin; Yeung, Serena (2018). Convolutional Neural Networks for Visual Recognition. Stanford University. 

Véxase tamén

Outros artigos

Read other articles:

Operasi KutuzovBagian dari Front Timur pada Perang Dunia IITanggal12 Juli – 18 Agustus 1943LokasiOrel, Uni SovietHasil Kemenangan SovietPihak terlibat  Jerman Nazi  Uni SovietTokoh dan pemimpin Walter Model Lothar Rendulic Konstantin Rokossovsky Hovhannes BagramyanKekuatan 400,000 Wermacht [1] 700 tank dan meriam assault[1] 850 pesawat [1] 5,500 meriam[1] 1,500,000 Red Army[2] 2,550 tank dan meriam assault[2] 2,220[3]–3,023...

 

Coordenadas: 17° 18' 55 N 87° 32' 4 O O Great Blue Hole, localizado próximo à ilha de Cayo Ambergris, no Belize. Grande Buraco Azul[1] (em inglês: Great Blue Hole) é um dos maiores buracos azuis do mundo. Fica localizado há quase 70 quilômetros mar adentro da Cidade de Belize.[2] Com forma de um círculo perfeito, tem pouco mais de 300 metros de largura e atinge 124 metros de profundidade.[2] Visível inclusive do espaço – foi captado por um satélite da Nasa em mar...

 

Ecclesiological term This article is about the ecclesiological concept. For the buildings used in Christian worship, see Church (building). For the religious meeting, see Church (congregation). For individual Christian organization and currents, see Christian denomination. For other uses, see Christian Church (disambiguation). Part of a series onChristianity JesusChrist Nativity Baptism Ministry Crucifixion Resurrection Ascension BibleFoundations Old Testament New Testament Gospel Canon Churc...

هذه المقالة تحتاج للمزيد من الوصلات للمقالات الأخرى للمساعدة في ترابط مقالات الموسوعة. فضلًا ساعد في تحسين هذه المقالة بإضافة وصلات إلى المقالات المتعلقة بها الموجودة في النص الحالي. (ديسمبر 2016) ألعاب بارالمبية شتويةمعلومات عامةصنف فرعي من الألعاب البارالمبية البداية 1976 ...

 

Jalur kereta api Kalisat–BanyuwangiRel di sekitar Terowongan Mrawan, saat proses pembangunan.IkhtisarJenisJalur lintas utamaSistemJalur kereta api rel beratStatusBeroperasiTerminusKalisatBanyuwangiOperasiDibangun olehStaatsspoorwegenPJKA (rute baru Kabat–Ketapang)Dibuka1902-19031985 (jalur baru Kabat–Ketapang)PemilikDirektorat Jenderal PerkeretaapianOperatorPT Kereta Api IndonesiaDaerah Operasi IX JemberDepoJember (lokomotif)Ketapang (kereta penumpang)Data teknisLebar sepur1.067 mm...

 

Malaysian digital television channel Television channel TV AlhijrahTV Alhijrah head office in Kuala Lumpur, near the Masjid NegaraCountryMalaysiaBroadcast area Malaysia Singapore Brunei Thailand (South Thailand, particularly Songkhla, Narathiwat, Yala and Satun) Indonesia (West Kalimantan, Riau Islands, North Kalimantan and Riau) HeadquartersPusat Penyiaran Digital TV Alhijrah, Kompleks Pusat Islam, Jalan Perdana, 50480 Kuala Lumpur, MalaysiaProgrammingLanguage(s) Malay English Picture format...

يفتقر محتوى هذه المقالة إلى الاستشهاد بمصادر. فضلاً، ساهم في تطوير هذه المقالة من خلال إضافة مصادر موثوق بها. أي معلومات غير موثقة يمكن التشكيك بها وإزالتها. (سبتمبر 2019) هذه المقالة تحتاج للمزيد من الوصلات للمقالات الأخرى للمساعدة في ترابط مقالات الموسوعة. فضلًا ساعد في تحس...

 

American bioscientist M. Sawkat AnwerNationalityAmericanAlma materKansas State University Scientific careerFieldsBioscienceInstitutionsTufts University M. Sawkat Anwer is an American bioscientist. He's currently a Distinguished Professor of biomedical sciences at Tufts University.[1][2] Anwar received a Masters of Science from Dhaka University and a Ph.D. from Kansas State University.[1] References ^ a b M. Sawkat Anwer. tufts.edu. Retrieved April 19, 2017. ^ Sawk...

 

Species of flowering plant in the family Plantaginaceae Veronica obtusata Scientific classification Kingdom: Plantae Clade: Tracheophytes Clade: Angiosperms Clade: Eudicots Clade: Asterids Order: Lamiales Family: Plantaginaceae Genus: Veronica Section: Veronica sect. Hebe Species: V. obtusata Binomial name Veronica obtusataCheeseman, 1916[1] Synonyms Hebe obtusata Veronica macroura var. dubia Veronica obtusata, the northern hebe, is a flowering plant belonging to the family Plant...

American indie rock band For the role-playing game, see Weird Wars. Weird WarWeird War performing at the historic Southgate House in Newport, KYBackground informationAlso known asScene CreamersOriginWashington, D.C.GenresIndie rockYears active2001–presentLabelsDrag CityMembersIan SvenoniusMichelle MaeAlex MinoffSebastian ThomsonPast membersNeil HagertyJessica EspeletaSteve McCartyBlake BrunnerWebsiteOfficial website Weird War, briefly known as Scene Creamers, is an indie rock band based...

 

Nigerian mathematics professor (1941–2022) Aderemi Oluyomi Kuku (March 20, 1941 – February 13, 2022[1]), popularly known as Kuku, was a Nigerian professor of mathematics and a former president of the African Mathematical Union (AMU) and the African Academy of Sciences Kenya.[2][3][4][5] Life The geographical map of Aderemi Kuku's state of origin Aderemi Kuku was born  in   Ijebu-Ode, Ogun State, on March 20, 1941, as the third child of...

 

Season of television series The BoondocksSeason 4DVD coverCountry of originSouth Korea ProductioncompaniesStudio Mir No. of episodes10[1]ReleaseOriginal networkAdult SwimOriginal releaseApril 21 (2014-04-21) –June 23, 2014 (2014-06-23)Season chronology← PreviousSeason 3List of episodes The fourth and final season of the animated television series The Boondocks premiered in the United States on Cartoon Network's late night programming block, Adult Swim, on April...

Athletic FemeninoNama lengkapAthletic Club FemeninoJulukanLas Leonas(Singa betina)Neskak(Wanita)Rojiblancas(Merah-putih)Berdiri2002; 20 tahun lalu (2002)StadionLapangan Lezama,Vizcaya, Spanyol(Kapasitas: 3.250)Pelatih kepalaIraia IturregiLigaLiga F2022–2023Primera División, ke-10Situs webSitus web resmi klub Kostum kandang Kostum tandang Athletic Club Femenino adalah klub sepak bola wanita dari Athletic Bilbao, yang berkompetisi di Liga F. Athletic adalah klub paling sukses di Sp...

 

السنه دى بتوافق فى التقويمين القبطى والمصرى 1736(قبطى), 6261(مصرى) شوف احداث السنه مواليد وفيات مواليد 2018 وفيات 2018 الفيه: الفيه 3rd قرون: قرن 20th – قرن 21st – قرن 22nd عقود: عقد 1990  عقد 2000  – عقد 2010 –  عقد 2020  عقد 2030 سنين: 2016 2017 – 2018 – 2019 2020 2018 فى التقاويم التانيهتقويم ...

 

Major thoroughfare in Portland, Oregon, USA Naito ParkwayFacing northwest on the Steel BridgeFormer name(s)Front StreetFront AvenuePart of OR 10 OR 99W NamesakeBill NaitoOwnerPortland Bureau of TransportationLength3.2 mi (5.1 km)[1]LocationPortland, Oregon, U.S.FromSW Barbur BlvdMajorjunctions US 26 I-5 ToNW Front Ave Naito Parkway is a major thoroughfare of Portland in the U.S. state of Oregon. It was formerly known as Front Avenue and Front Street and was re...

Battles involving the Kingdom of France This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed.Find sources: List of battles involving the Kingdom of France – news · newspapers · books · scholar · JSTOR (July 2023) (Learn how and when to remove this template message) This is a dynamic list and may never be able to satisfy partic...

 

Dravidian language spoken in India Kodava Chart Alphabets This article has multiple issues. Please help improve it or discuss these issues on the talk page. (Learn how and when to remove these template messages) This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed.Find sources: Kodava language – news · newspapers · books · scholar&#...

 

This is a list of fictional cats and felines and is a subsidiary to the list of fictional animals. It includes a limited selection of notable felines from various works, organized by medium. More complete lists are accessible by clicking on the Main article link included above each category. For fictional large felids such as lions and tigers, see List of fictional big cats. In literature This section deals with notable cat characters that appear in literature works of fiction including books...

Artikel ini tidak memiliki referensi atau sumber tepercaya sehingga isinya tidak bisa dipastikan. Tolong bantu perbaiki artikel ini dengan menambahkan referensi yang layak. Tulisan tanpa sumber dapat dipertanyakan dan dihapus sewaktu-waktu.Cari sumber: San Marino kota – berita · surat kabar · buku · cendekiawan · JSTOR Kota San Marino Città di San MarinocastelloPemandangan beberapa bagian kota San Marino BenderaLambang kebesaranLokasi San Marino ...

 

No debe confundirse con Cabo de la Aguja. Cabo de las Agujas Kaap Agulhas Hito de la división entre el Atlántico y el ÍndicoUbicación administrativaPaís  SudáfricaDivisión Provincia Occidental del CaboUbicación geográficaContinente ÁfricaMar / océano Océano Atlántico - Océano ÍndicoCoordenadas 34°50′00″S 20°00′09″E / -34.833333333333, 20.002541666667Otros datosDestaca por Punto más meridional de ÁfricaMapa de localización Cabo de las Agujas Loc...

 

Strategi Solo vs Squad di Free Fire: Cara Menang Mudah!