Diep leren

Deep learning is een reeks algoritmen in machine learning die proberen te modelleren hoog niveau abstracties in data met model architecturen bestaande uit meerdere niet-lineaire transformaties.

Diep leren is onderdeel van een bredere familie van machine learning methodes gebaseerd op het leren representaties van gegevens. Een waarneming kan worden weergegeven op verschillende manieren, maar afbeeldingen gemakkelijker taken plaats uitgaandevan en onderzoek op dit gebied tracht te bepalen wat betere representaties en hoe modellen te maken van deze representaties leren.

Diverse diep leren architecturen zoals diep neurale netwerken, convolutionele diepe neurale netwerken, en diepe overtuiging netwerken zijn toegepast op gebieden zoals computer vision, automatische spraakherkenning, natuurlijke taalverwerking en muziek / audio signaal erkenning waar ze is aangetoond dat de staat te produceren -of-the-art resultaten op verschillende taken.

Als alternatief is 'diep leren' werd gekenmerkt als "slechts een modewoord voor", of "grotendeels een rebranding van", neurale netwerken.

Invoering

Definities

Er zijn een aantal manieren waarop het gebied van diep leren is gekarakteriseerd. Diep leren is een klasse van machine learning training algoritmen die

  • gebruik maken van vele lagen van niet-lineaire verwerkingseenheden voor feature extractie en transformatie. De algoritmes kan worden gecontroleerd of zonder toezicht en toepassingen zijn patroonherkenning en de statistische classificatie.
  • gebaseerd op het leren van meerdere niveaus van kenmerken of voorstellingen van de data. Hogere functies niveau zijn afgeleid van een lager niveau functies om een ​​hiërarchische voorstelling vormen.
  • behoren tot de bredere machine learning leergebieden representaties van data.
  • leren meerdere niveaus van voorstellingen die overeenkomen met de verschillende niveaus van abstractie; de niveaus vormen een hiërarchie van concepten.
  • vormen een nieuw veld met als doel het bewegen naar kunstmatige intelligentie. De verschillende niveaus van vertegenwoordiging hulp zin van gegevens, zoals beelden, geluiden en teksten.

Deze definities hebben met elkaar gemeen meerdere lagen van niet-lineaire verwerkingseenheden en de bewaakte of onbewaakte aanleren van functie vertegenwoordigingen in elke laag, met de lagen vormen een hiërarchie van laag niveau op hoog niveau functies. De samenstelling van een laag van niet-lineaire verwerkingseenheden die in een diepe overtuiging algoritme afhankelijk van het te lossen probleem. Lagen die zijn gebruikt in diep leren bevatten verborgen lagen van een kunstmatig neuraal netwerk, beperkt Boltzmann machines en reeksen ingewikkelde propositionele formules.

Deep leeralgoritmen contrasteren met ondiepe leeralgoritmen door het aantal transformaties geparametriseerd signaal tegenkomt als het zich voortplant vanaf de ingangslaag met de uitgang laag, waarbij een geparametriseerde transformatie een verwerkingseenheid trainbaar parameters zoals gewicht en drempels. Een keten van transformaties van input tot output is van een credit opdracht pad. CAP beschrijven mogelijke causale verbanden tussen ingang en uitgang en kunnen in lengte variëren. Voor een feedforward neuraal netwerk, de diepte van de CAP en daarmee de diepte van het netwerk, het aantal verborgen lagen plus één. Voor recurrente neurale netwerken, waarin een signaal kan voortplanten door een laag meer dan eens de CAP potentieel onbeperkte lengte. Er is geen universeel overeengekomen drempel van diepte ondiepe leren van diep leren te delen, maar de meeste onderzoekers in het veld het ermee eens dat diep leren heeft meerdere niet-lineaire lagen en Schmidhuber beschouwt GLB & gt; 10 zeer diep leren.

Fundamentele concepten

Deep learning algoritmes zijn gebaseerd op gedistribueerde representaties, een concept gebruikt in de machine learning. De onderliggende aanname achter gedistribueerde representaties die gemeten data wordt gegenereerd door de interactie van verschillende factoren op verschillende niveaus. Diep leren voegt de veronderstelling dat deze factoren zijn georganiseerd in meerdere niveaus, die overeenkomen met verschillende niveaus van abstractie of samenstelling. Verschillende aantallen lagen en lagen afmetingen kan worden gebruikt om verschillende hoeveelheden abstractie verschaffen.

Diep leren algoritmes in het bijzonder te exploiteren dit idee van hiërarchische verklarende factoren. Verschillende concepten worden geleerd van andere concepten, met de meer abstracte, hoger niveau concepten worden geleerd van het lagere niveau degenen. Deze architecturen zijn vaak opgebouwd met een gulzige layer-by-layer methode die modellen dit idee. Diep leren helpt om deze abstracties ontwarren en uitzoeken welke functies nuttig zijn voor het leren zijn.

Veel diep leren algoritmen worden ingelijst als onbewaakte leerproblemen. Hierdoor kunnen deze algoritmen gebruik van de ongelabelde data maken dat andere algoritmen kunnen niet. Ongelabelde data gewoonlijk overvloediger dan gelabelde data, waardoor dit een zeer belangrijk voordeel van deze algoritmen. De diepe geloof-netwerk is een voorbeeld van een dieptestructuur die kan worden getraind op een ongecontroleerde wijze.

Geschiedenis

Diep leren architecturen, in het bijzonder die gebouwd van artificiële neurale netwerken, dateren ten minste tot het Neocognitron geïntroduceerd door Kunihiko Fukushima in 1980. De ANNs zelf dateren nog verder. In 1989, Yann LeCun et al. konden de standaard backpropagation algoritme dat al sinds 1974 was toegepast, een diepe neuraal netwerk met als doel het herkennen van handgeschreven postcodes op post. Ondanks het succes van de toepassing van het algoritme, de tijd om het netwerk te trainen op deze dataset ongeveer 3 dagen, waardoor het onpraktisch voor algemeen gebruik. Veel factoren dragen bij aan de trage, waarvan een gevolg van de zogenaamde verdwijnende gradient probleem 1991 geanalyseerd door Jürgen Schmidhuber student Sepp Hochreiter. In combinatie met de snelheid kwesties, ANNs viel uit de gratie in de praktijk machine learning en eenvoudiger modellen zoals support vector machines werd de populaire keuze van het veld in de jaren 1990 en 2000.

De term "deep learning" opgedaan tractie in het midden van de jaren 2000 na een publicatie van Geoffrey Hinton en Ruslan Salakhutdinov liet zien hoe een veel-gelaagd feedforward neurale netwerk kan effectief worden vooraf getraind één laag tegelijk, het behandelen van elke laag op zijn beurt als een zonder toezicht beperkt Boltzmann machine, vervolgens met behulp van toezicht backpropagation voor fine-tuning. In 1992, had Schmidhuber reeds geïmplementeerd een soortgelijk idee voor de meer algemene geval van onbewaakte diepe hiërarchieën van terugkerende neurale netwerken, en ook experimenteel aangetoond de voordelen voor het versnellen van begeleid leren

Sinds de heropleving van diep leren, is het onderdeel van veel state-of-the-art systemen in verschillende disciplines, in het bijzonder die van de computer vision en automatische spraakherkenning geworden. Resultaten over de gebruikelijke evaluatie sets zoals TIMIT en MNIST, evenals een reeks van grote woordenschat spraakherkenning taken worden voortdurend verbeterd met nieuwe toepassingen van diep leren. Momenteel, is aangetoond dat diep leerarchitecturen in de vorm van convolutionele neurale netwerken bijna best presterende zijn; Echter, deze worden op grotere schaal gebruikt in computer vision dan in ASR.

Vooruitgang in hardware hebben ook een belangrijke sleutelfactor voor de hernieuwde belangstelling van diep leren geweest. In het bijzonder, zijn krachtige graphics processing units uitermate geschikt voor het soort rekenwerk, matrix / vector wiskunde bij machine learning. GPU bleken versnellen trainingsalgoritmes met orden van grootte, waardoor looptijden weken terug tot dagen.

Diep leren in kunstmatige neurale netwerken

Enkele van de meest succesvolle diepe leermethoden betrekken artificiële neurale netwerken. Kunstmatige neurale netwerken zijn geïnspireerd op de 1959 door Nobelprijswinnaars David H. Hubel & amp voorgestelde biologisch model; Torsten Wiesel, die twee soorten cellen in de primaire visuele cortex gevonden: eenvoudige en complexe cellen cellen. Vele kunstmatige neurale netwerken kunnen worden gezien als overloop modellen celtypen geïnspireerd door deze biologische waarnemingen.

Fukushima's Neocognitron geïntroduceerd convolutional neurale netwerken gedeeltelijk getraind door onbewaakte leren. Yann LeCun et al. toegepaste toezicht backpropagation dergelijke architecturen.

Met de komst van de back-propagatie algoritme in de jaren 1970, veel onderzoekers geprobeerd om toezicht diepe kunstmatige neurale netwerken trainen vanaf nul, in eerste instantie met weinig succes. Sepp Hochreiter's thesis van 1991 formeel geïdentificeerd de reden voor dit falen in het "verdwijnende verloop probleem", die niet alleen van invloed op vele lagen feedforward netwerken, maar ook terugkerende neurale netwerken. Deze worden getraind door ontvouwen ze in diepe feedforward netwerken, waarbij een nieuwe laag wordt gemaakt voor elke tijdstap een inputsequentie verwerkt door het netwerk. Zoals fouten propageren van laag tot laag, krimpen exponentieel toe met het aantal lagen.

Om dit probleem te ondervangen, zijn verschillende werkwijzen voorgesteld. Een daarvan is Jürgen Schmidhuber multi-level hiërarchie van netwerken pre-opgeleide één niveau tegelijk door middel van toezicht leren, verfijnd door middel backpropagation. Hier elk niveau leert een gecomprimeerde representatie van de waarnemingen die wordt toegevoerd naar het volgende niveau.

Een andere methode is de lange korte termijn geheugen netwerk van 1997 door Hochreiter & amp; Schmidhuber. In 2009, diepe multidimensionale LSTM netwerken toonde de kracht van diep leren met veel niet-lineaire lagen, door het winnen van drie ICDAR 2009 wedstrijden in de aangesloten handschriftherkenning, zonder voorafgaande kennis over de drie verschillende talen te leren.

Sven Behnke vertrouwden alleen op het teken van de helling bij het trainen van zijn Neural Abstractie Piramide om problemen zoals beeldreconstructie en het gezicht lokalisatie lossen.

Andere methoden gebruiken ook zonder toezicht pre-training om een ​​neuraal netwerk te structureren, waardoor het eerst leren over het algemeen nuttige functie detectoren. Dan is het netwerk wordt verder getraind door toezicht back-propagatie naar gelabelde data te classificeren. De diepe model van Hinton et al. impliceert het leren van de distributie van een hoog niveau vertegenwoordigd met opeenvolgende lagen van binaire of real-gewaardeerde latente variabelen. Het maakt gebruik van een beperkte Boltzmann machine om elke nieuwe laag van hoger niveau functies te modelleren. Elke nieuwe laag garandeert een verhoging van de ondergrenzen van de log waarschijnlijkheid van de gegevens, waardoor de verbetering van het model, indien goed opgeleid. Zodra voldoende veel lagen zijn geleerd diep architectuur kan worden gebruikt als een generatieve model van het reproduceren van de data bij de bemonstering van het model van het hoogste niveau functie activeringen. Hinton meldt dat zijn modellen zijn effectieve functie extractoren over hoge-dimensionale, gestructureerde data.

De Google Brain team onder leiding van Andrew Ng en Jeff Dean creëerde een neuraal netwerk dat geleerd om hoger niveau concepten, zoals katten te herkennen, alleen van het kijken naar ongelabelde beelden genomen van YouTube-video's.

Andere werkwijzen steunen op het pure rekenkracht van moderne computers vooral GPU's. In 2010 werd aangetoond door Dan Ciresan en collega's in de groep Jürgen Schmidhuber bij de Zwitserse AI Lab IDSIA dat ondanks de hierboven genoemde "verdwijnende verloop probleem," de superieure rekenkracht van GPU's duidelijk maakt back-propagatie haalbaar voor diepe feedforward neurale netwerken vele lagen. De methode beter dan alle andere machine learning technieken op het oude, beroemde MNIST handgeschreven cijfers probleem van Yann LeCun en collega's aan de NYU.

Met ingang van 2011, de stand van de techniek in diep leren feedforward netwerken plaatsvervangers CONVOLUTIONNELS lagen en max-pooling lagen, bekroond door een aantal pure indeling lagen. Training wordt meestal gedaan zonder toezicht pre-training. Sinds 2011-GPU gebaseerde implementaties van deze aanpak won vele patroonherkenning wedstrijden, waaronder de IJCNN 2011 Traffic Sign Recognition Competition, de ISBI 2012 Segmentatie van neuronale structuren in EM stapels uitdaging, en anderen.

Zoals toezicht diepe leermethoden waren ook de eerste kunstmatige patroon herkenners menselijke-competitieve prestaties op bepaalde taken te bereiken.

Diep leren architecturen

Basismodellen van diepe neurale netwerken en diepe overtuiging netwerken worden hieronder gegeven.

Deep neurale netwerken

Een diepe neuraal netwerk wordt gedefinieerd als een kunstmatig neuraal netwerk met meerdere verborgen lagen eenheden tussen de ingang en uitgang lagen. Vergelijkbaar met ondiepe ANNs, kan DNNs modelleren complexe niet-lineaire relaties. De extra lagen staat de samenstelling van de functies van de onderste lagen, waardoor het potentieel van het modelleren van complexe gegevens met minder eenheden dan een vergelijkbaar presterende ondiepe netwerk. DNNs zijn meestal ontworpen als feedforward netwerken, maar recent onderzoek heeft met succes toegepast diep leren architectuur recurrente neurale netwerken voor toepassingen zoals taal modellering. CONVOLUTIONNELS diepe neurale netwerken worden gebruikt in computer vision waar hun succes is goed gedocumenteerd. Recenter zijn CNNs toegepast op akoestische modellering voor automatische spraakherkenning, wanneer zij succesvol zijn gebleken hun voorgangers. Voor de eenvoud, is een kijkje nemen op training DNNs hier gegeven.

Een DNN kan discriminatively getraind worden met de standaard backpropagation algoritme. Het gewicht updates kunnen worden gedaan via stochastische gradiënt afdaling met behulp van de volgende vergelijking:

Hier, is het leren tarief, en is de functie kosten. De keuze van de kostenfunctie afhankelijk van factoren zoals het type leren en activatiefunctie. Bijvoorbeeld, bij het uitvoeren van gecontroleerde leren op multiclass klassificatieprobleem gemeenschappelijke keuzes voor de activatie functie en de kostenfunctie zijn SoftMax functie en cross entropie functie resp. De SoftMax functie wordt gedefinieerd als wanneer vertegenwoordigt de klasse waarschijnlijkheid en en vertegenwoordigen de totale input respectievelijk eenheden. Cross entropie wordt gedefinieerd als waarbij staat voor de beschouwde kans voor uitvoereenheid en de waarschijnlijkheid uitgang na toepassing van het activatiefunctie.

Problemen met diepe neurale netwerken

Zoals met ANNs, kunnen veel problemen ontstaan ​​met DNNs als ze naïef zijn opgeleid. Twee veel voorkomende problemen worden overfitting en rekentijd.

DNNs zijn gevoelig voor overfitting vanwege de toegevoegde lagen van abstractie, die hen in staat stellen te modelleren zeldzame afhankelijkheden in de training data. Regularisatie methoden zoals gewicht verval of sparsity kan worden toegepast tijdens de training te bestrijden overfitting helpen. Een meer recente regularisatie methode toegepast op DNNs is uitval regularisatie. In uitval, zijn sommige aantal eenheden willekeurig weggelaten uit de verborgen lagen tijdens de training. Dit helpt om de zeldzame afhankelijkheden die kunnen optreden in de trainingsgegevens breken

Backpropagation en helling afkomst hebben de beste methode voor het trainen van deze structuren te wijten aan het gemak van de uitvoering en hun neiging om te convergeren naar betere lokale optima in vergelijking met andere trainingsmethoden. Echter, deze methoden computationeel, vooral wanneer gebruikt om DNNs leiden. Er zijn vele trainingsparameters worden overwogen een DNN, zoals de grootte, de leersnelheid en oorspronkelijke gewicht. Vegen door de parameterruimte optimale parameters niet haalbaar vanwege de kosten in tijd en rekenhulpmiddelen. Verschillende trucjes zoals het gebruik van mini-batches bleken versnellen berekening. De grote verwerkingssnelheid van GPU's heeft belangrijke versnellingen in opleiding geproduceerd, als gevolg van de matrix en vector berekeningen vereist zijn geschikt voor GPU's.

Diepe overtuiging netwerken

Een diepe overtuiging netwerk is een probabilistische, generatief model opgebouwd uit meerdere lagen verborgen eenheden. Het kan gezien worden als een compositie van eenvoudige learning modules die deel uitmaken van elke laag.

Een DBN kan voor generatief pre-training een DNN met de geleerde gewichten zoals het oorspronkelijke gewicht. Backpropagation of andere discriminerende algoritmes kunnen vervolgens worden toegepast voor de fine-tuning van deze gewichten. Dit is vooral nuttig in situaties waar beperkte trainingsgegevens beschikbaar als slecht geïnitialiseerd gewichten significante invloed op de prestaties van het uiteindelijke model hebben. Deze vooraf getraind gewichten zijn in een gebied van het gewicht ruimte die dichter bij de optimale gewichten. Dit zorgt voor zowel een verbeterde modellering vermogen en een snellere convergentie van de fine-tuning fase.

Een DBN kan efficiënt worden getraind in een onbewaakte, layer-by-layer wijze waarbij de lagen typisch zijn gemaakt van beperkte Boltzmann machines. Een beschrijving van de opleiding van een DBN via RBM wordt hieronder gegeven. Een RBM is een ongerichte, generatieve-energie gebaseerde model met een ingang laag en enkele verborgen laag. Alleen verbindingen bestaan ​​tussen de zichtbare eenheid van de ingang laag en de verborgen eenheden van de verborgen laag; Er zijn geen zichtbare-zichtbare of verborgen verborgen verbindingen.

De trainingsmethode voor RBM werd aanvankelijk door Geoffrey Hinton voorgesteld voor gebruik met de opleiding "Product of Expert" modellen en staat bekend als contrastieve divergentie. CD geeft een benadering van de maximum likelihood methode die idealiter zou worden toegepast voor het leren van de gewichten van de RBM.

In de opleiding van een enkele RBM, zijn gewicht updates uitgevoerd met gradiënt beklimming via de volgende vergelijking :. Hier, is de kans op een zichtbare vector, die wordt gegeven. is de verdelingsfunctie en de energie functie die aan de toestand van het netwerk. Een lagere energie geeft het netwerk in een "gewenste" -configuratie. De helling heeft de eenvoudige vorm waarbij vertegenwoordigen gemiddelden met betrekking tot de distributie. De vraag rijst in sampling als dit vereist loopt afwisselend Gibbs sampling voor een lange tijd. CD vervangt deze stap door het uitvoeren van afwisselende Gibbs sampling voor de stappen. Na stappen wordt de data bemonsterd en het monster wordt gebruikt in plaats van. De CD procedure werkt als volgt:

  • Initialiseren van de zichtbare eenheid om een ​​training vector.
  • Werk de verborgen eenheden parallel gezien de zichtbare eenheden :. vertegenwoordigt het sigmoid functie en de voorspanning van.
  • Werk de zichtbare eenheden parallel gegeven de verborgen eenheden :. is de voorspanning van. Dit wordt de "wederopbouw" stap.
  • Reupdate de verborgen eenheden parallel gezien de gereconstrueerde zichtbare eenheden met dezelfde formule als in stap 2.
  • Voer de gewicht-update :.

Zodra een RBM is opgeleid, kan een andere RBM worden "gestapeld" op de hoogte van het aan een meerlagige model te maken. Telkens een RGB wordt gestapeld, wordt de input zichtbare laag geïnitialiseerd op een trainingsvector en waarden van de eenheden van het reeds getrainde RBM lagen toegewezen met de huidige gewichten en vooroordelen. De laatste laag van de reeds getrainde lagen wordt gebruikt als input voor de nieuwe RBM. De nieuwe RBM wordt vervolgens getraind met de bovenstaande procedure, en dit hele proces kan worden herhaald totdat een gewenste stoppen criterium wordt voldaan.

Ondanks de aanpassing van CD maximale waarschijnlijkheid zeer ruwe, empirische resultaten hebben aangetoond een effectieve werkwijze voor gebruik bij training diep architecturen.

CONVOLUTIONNELS neurale netwerken

Een CNN bestaat uit één of meer lagen met convolutionele volledig verbonden lagen boven. Het gebruikt ook vastgebonden gewichten en pooling lagen. Deze architectuur maakt CNNs profiteren van de 2D structuur van invoergegevens. In vergelijking met andere diepe architecturen, worden convolutionele neurale netwerken beginnen om superieure resultaten in beeld en spraak applicaties tonen. Ze kunnen ook worden getraind met standaard backpropagation. CNNs zijn makkelijker te trainen dan andere gewone, diepe, feed-forward neurale netwerken en veel minder parameters te schatten, waardoor ze een zeer aantrekkelijke architectuur gebruiken.

CONVOLUTIONNELS Deep Belief Networks

Een recente prestatie in diepe leren is van het gebruik van convolutionele diepe overtuiging netwerken. Een CDBN is vergelijkbaar met normale Convolutional neuraal netwerk qua structuur. Dus evenals CNNs ze kunnen ook de 2D structuur van beelden gecombineerd met het voordeel van pre-training in Deep overtuiging netwerk benutten. Ze bieden een algemene structuur die kan worden gebruikt in vele beeld- en signaalbewerking taken en kan worden getraind op een manier die vergelijkbaar is met Deep Belief Networks. Onlangs hebben veel benchmarkresultaten op standaard afbeelding datasets zoals CIFAR zijn verkregen met behulp van CDBNs.

Toepassingen

Automatische spraakherkenning

De in de tabel onderstaande resultaten zijn voor automatische spraakherkenning op de populaire TIMIT dataset. Dit is een gemeenschappelijke set gegevens die worden gebruikt voor de eerste evaluaties van diep leren architecturen. De gehele set bevat 630 sprekers uit acht grote dialecten van Amerikaans Engels, waarbij elke spreker leest 10 verschillende zinnen. Zijn kleine formaat maakt het mogelijk veel verschillende configuraties effectief te worden berecht met het. De foutenpercentages gepresenteerd zijn telefoon foutenpercentages.

Beeldclassificatie

Een gemeenschappelijke evaluatie ingesteld voor het indeling is de MNIST databasegegevens set. MNIST bestaat uit handgeschreven cijfers en omvat 60.000 training voorbeelden en 10.000 testvoorbeelden. Vergelijkbaar met TIMIT, zijn kleine formaat maakt het mogelijk meerdere configuraties te testen. Een uitgebreide lijst van resultaten op deze set kan worden gevonden in. De huidige beste resultaat op MNIST is een foutenpercentage van 0,23%, bereikt door Ciresan et al. in 2012.

Natuurlijke taalverwerking

Neurale netwerken zijn gebruikt voor het implementeren taalmodellen sinds de vroege jaren 2000. Belangrijke technieken op dit gebied zijn negatieve bemonstering en woord inbedding. Het woord inbedding, zoals word2vec, kan worden beschouwd als representatief laag in een diepe leerarchitectuur transformeren van een atoom woord in een positionele afbeelding van het woord ten opzichte van andere woorden dataset; de positie wordt weergegeven als een punt in een vectorruimte. Met behulp van een woord inbedden als input laag om een ​​recursieve neuraal netwerk zorgt voor de opleiding van het netwerk om zinnen en uitdrukkingen met behulp van een effectieve compositorische vector grammatica te ontleden. Een compositorische vector grammatica kan worden gezien als probabilistische context grammatica uitgevoerd door een recursieve neuraal netwerk. Recursieve autoencoders gebouwd bovenop woord inbeddingen zijn opgeleid om zin gelijkenis te beoordelen en te detecteren parafraseren. Deep neurale architecturen hebben state-of-the-art resultaten in vele taken in de natuurlijke taalverwerking, zoals kiesdistrict parsing en sentiment analyse.

Diep leren in het menselijk brein

Computational diep leren is nauw verwant aan een klasse theorieën van hersenontwikkeling van cognitieve neuroscientists voorgesteld in de vroege jaren 1990. Een laagdrempelige samenvatting van dit werk is Elman, et al. 1996 boek "Rethinking aangeboren". Aangezien deze theorieën werden ook gestart in computationele modellen, ze zijn technische voorlopers van puur rekenkundig gemotiveerde diep leren modellen. Deze modellen hebben de interessante eigenschap dat verschillende voorgestelde leren dynamiek in de hersenen samenzweren om de zelforganisatie van precies het soort van inter-gerelateerde neurale netwerken gebruikt in de latere, puur computationele diep leren modellen ondersteunen, en die lijken vergelijkbaar te zijn om één manier begrijpen van de neocortex van de hersenen als een hiërarchie van filters waarbij elke laag vangt een deel van de informatie in de gebruiksomgeving, en gaat dan de rest, alsook gemodificeerde base signaal naar andere lagen verder de hiërarchie. Het resultaat van dit proces is een zelforganiserend stapel transducers, goed afgestelde hun gebruiksomgeving. Zoals beschreven in de New York Times in 1995: "... hersenen van de zuigeling lijkt zich te organiseren onder invloed van de golven van zogenaamde trofische factoren ... verschillende hersengebieden worden verbonden opeenvolgend, met één laag tissue rijpen voordat een andere en zo verder tot het hele volwassen hersenen. "

Het belang van diep leren met betrekking tot de evolutie en ontwikkeling van de menselijke cognitie ontsnapte niet aan de aandacht van deze onderzoekers. Een aspect van menselijke ontwikkeling die ons onderscheidt van onze naaste buren primaten kunnen veranderingen kunnen worden ontwikkeld. Onder primaten, het menselijk brein blijft relatief plastic tot laat in de postnatale periode, terwijl de hersenen van onze naaste familieleden meer volledig worden gevormd door geboorte. Aldus mensen betere toegang tot het complex ervaringen geboden door zich in de wereld tijdens de vormende periode van hersenontwikkeling. Dit kan ons in staat stellen om "af te stemmen" op snel veranderende kenmerken van de omgeving die andere dieren, meer beperkt door evolutionaire structurering van hun hersenen, niet in staat zijn om rekening te houden. Voor zover deze wijzigingen in soortgelijke timing veranderingen hypothese golf Corticale, kunnen zij ook leiden tot veranderingen in het extraheren van informatie uit de stimulus omgeving tijdens de vroege zelforganisatie van de hersenen. Natuurlijk, samen met deze flexibiliteit komt een langere periode van onvolwassenheid, waarin we afhankelijk zijn van onze verzorgers en onze gemeenschap voor zowel ondersteuning en training. De theorie van diep leren ziet dan ook de co-evolutie van cultuur en cognitie als een fundamentele voorwaarde van de menselijke evolutie.

Publiciteit rond diep leren

Diep leren wordt vaak voorgesteld als een stap op weg naar het realiseren van een sterke AI en dus veel organisaties zijn geïnteresseerd in het gebruik ervan voor specifieke toepassingen. Meest recent, in december 2013, Facebook aangekondigd dat zij ingehuurd Yann LeCun haar nieuwe kunstmatige intelligentie lab dat operaties zal hebben in Californië, Londen en New York het hoofd. De AI lab zal worden gebruikt voor het ontwikkelen van diep leren technieken die u zullen helpen Facebook doen taken zoals het automatisch labelen geüploade foto's met de namen van de mensen in hen.

In maart 2013, Geoffrey Hinton en twee van zijn studenten, Alex Krizhevsky en Ilya Sutskever, werden ingehuurd door Google. Hun werk zal worden gericht op zowel het verbeteren van bestaande machine learning producten bij Google en ook helpen omgaan met de groeiende hoeveelheid data die Google heeft. Google kocht ook Hinton gezelschap, DNNresearch.

Kritieken

Een van de belangrijkste kritiek van diep leren betreft het gebrek aan theorie rond veel van de methoden. Het grootste deel van het leren in diepe architecturen is gewoon een vorm van gradiënt afdaling. Terwijl gradiënt afdaling is begrepen voor een tijdje nu, de theorie rond andere algoritmen, zoals de contrastieve divergentie is minder duidelijk. Deep leermethoden worden vaak gezien als een zwarte doos, met de meeste bevestigingen empirisch gedaan, in plaats van theoretisch.

Anderen wijzen erop dat diep leren moet worden gezien als een stap op weg naar het realiseren van een sterke AI, niet als een allesomvattende oplossing. Ondanks de kracht van diepe leermethoden, ze nog steeds niet veel van de functionaliteit die nodig is voor het volledig realiseren van deze doelstelling. Onderzoek psycholoog Gary Marcus heeft opgemerkt dat:

"Realistisch, diep leren is slechts een deel van de grotere uitdaging van het bouwen van intelligente machines. Dergelijke technieken gebrek manieren die causale relaties hebben geen voor de hand liggende manieren om het uitvoeren van logische gevolgtrekkingen, en ze zijn ook nog een lange weg van de integratie van abstracte kennis, zoals informatie over wat objecten zijn, wat ze zijn voor, en hoe ze doorgaans worden gebruikt. De meest krachtige AI-systemen, zoals Watson gebruiken technieken als deep learning als slechts een element in een zeer ingewikkeld geheel van technieken, variërend van de statistische techniek van Bayesiaanse gevolgtrekking om deductieve redeneren. "

Diep leren softwarebibliotheken

  • Toorts
  • Theano
  • Deeplearning4j
  • DeepLearnToolbox, Matlab / Octave toolbox voor diep leren
  • convnetjs, deep learning in Javascript. Bevat online demo's.
  • Gensim een ​​toolkit voor natuurlijke taalverwerking; omvat word2vec
  • Caffe
(0)
(0)
Commentaren - 0
Geen commentaar

Voeg een reactie

smile smile smile smile smile smile smile smile
smile smile smile smile smile smile smile smile
smile smile smile smile smile smile smile smile
smile smile smile smile
Tekens over: 3000
captcha