Ce qui a provoqué la Renaissance de l’IA

Beaucoup de bruit pour l’apprentissage en profondeur du backpropagation

Source: pixabay

L’intelligence artificielle (IA) n’est pas un nouveau concept, ses origines remontent aux années 50. Pourtant, AI n’a que récemment pris la première place parmi les investisseurs du secteur privé, des pouvoirs publics et du capital-risque après des décennies de relative inactivité. Qu’est-ce qui a contribué à la fonte du boom hivernal et actuel de l’IA?

L’intelligence artificielle explose en grande partie grâce aux avancées en matière de capacité de reconnaissance des formes résultant d’un apprentissage en profondeur – un sous-ensemble d’apprentissage automatique dans lequel un réseau de neurones artificiels est constitué de deux couches de traitement. L’apprentissage automatique est un sous-ensemble de l’intelligence artificielle qui implique des algorithmes capables d’apprendre à partir de données, par opposition à un programmeur qui code explicitement des instructions. Cet apprentissage peut être effectué avec une formation supervisée ou non supervisée de données. Dans l’apprentissage supervisé, les données utilisées pour la formation sont étiquetées, alors que dans l’apprentissage non supervisé, il n’y a pas d’étiquettes de données.

• Deux astuces techniques pour votre nouvelle pratique de méditation
• Comment l’IA et l’informatique quantique peuvent modifier l’avenir de l’humanité
• S’aimer soi-même
• Présentation de la thérapie multi-lentilles
• Grandes études de cas addictives: l’histoire de Bess Meyerson

Les réseaux de neurones d’apprentissage automatique de l’intelligence artificielle ont été en grande partie bloqués dans les années 1970 et 1980, à la suite de la publication des recherches de MIT Marvin Minsky et Seymour Papert intitulées Perceptrons: une introduction à la géométrie computationnelle en 1969. Dans leur article, le duo scientifique souligne sur les «limitations sévères» des perceptrons, réseaux de neurones mis au point dans les années 50 par le psychologue américain Frank Rosenblatt, aux fins prévues pour la reconnaissance du modèle d’IA.

Minsky et Papert ont mis en doute la capacité des perceptrons à s’entraîner ou à apprendre dans des réseaux de neurones comportant plus de deux couches de neurones – les couches d’entrée et de sortie. Ils sont arrivés à leurs conclusions sur la base de preuves mathématiques. Les scientifiques ont écrit que «peut-être un puissant théorème de convergence sera découvert, ou une raison profonde de l’absence de production d’un« théorème d’apprentissage »intéressant pour la machine multicouche».

Un an plus tard, en 1970, le mathématicien finlandais Seppo Linnainmaa a écrit dans son mémoire de maîtrise l’estimation des erreurs d’arrondi et le mode inverse de la différenciation automatique (AD). À son insu, cette idée à laquelle il pensait alors qu’il se trouvait dans un parc de Copenhague par un après-midi ensoleillé lui donnerait plus tard le germe d’un apprentissage en profondeur pour germer des années plus tard et devenir une renaissance de l’IA des décennies plus tard. Linnainmaa a obtenu le premier doctorat en informatique de l’Université d’Helsinki en 1974.

• Comment réduire l’anxiété dans notre monde nerveux
• Leçons sur la récupération
• Une percée dans l’informatique neuromorphique pourrait perturber l’IA
• Sexe, voitures, argent et démence
• Petites aventures pour les non aventureux

Toujours en 1974, le scientifique Paul J. Werbos a publié son doctorat à l’Université de Harvard. Mémoire sur la formation de réseaux de neurones artificiels à travers la propagation des erreurs. Les Werbos ont conçu de nouveaux modèles de commandes intelligentes qui avaient des parallèles avec le cerveau humain. Werbos a reçu en 1995 un prix du pionnier du Conseil des réseaux de neurones de l’IEEE pour sa découverte de la rétropropagation et d’autres contributions aux réseaux de neurones de l’IA.

En 1986, Geoffrey Hinton, David E. Rumelhart et Ronald J. Williams ont popularisé le concept consistant à utiliser la rétropropagation à travers des réseaux d’unités neuronales avec leur article publié dans Nature , intitulé «Learning représentations by back-propagating errors». poids des connexions dans le réseau (nœuds ou neurones), de manière à minimiser une mesure de la différence entre le vecteur de sortie réel du réseau et le vecteur de sortie souhaité. Les ajustements de poids résultent en des unités cachées internes qui ne font pas partie de l’entrée ni de la sortie. Hinton et son équipe ont essentiellement démontré que des réseaux de neurones profonds comprenant plus de deux couches pouvaient être formés via une rétropropagation. Telle était la puissante technique d’apprentissage de plus de deux couches neuronales que Minsky et Papert avaient envisagée comme une possibilité en 1969. Pourtant, cela ne suffisait pas à lui seul pour ressusciter l’IA.

Un autre facteur majeur contribuant à l’essor de l’IA est dû à la montée en puissance du jeu vidéo. Dans les années 1970, les jeux vidéo d’arcade utilisaient des puces graphiques spécialisées en raison de leur coût. Entre les années 1980 et le début des années 2000, l’unité de traitement graphique (GPU) a finalement évolué, passant de l’utilisation principalement de jeux à des objectifs informatiques généraux. Les GPU sont capables de traiter de grandes quantités de données en parallèle, ce qui constitue un avantage considérable par rapport à la CPU standard (unité centrale). La puissance de traitement parallèle du GPU pour l’informatique en général convient parfaitement au traitement d’énormes quantités de données volumineuses à des fins d’apprentissage automatique.

En 2012, Geoffrey Hinton, Alex Krizhevsky et Ilya Sutskever ont annoncé leur succès dans la formation d’un réseau neuronal convolutionnel profond avec 60 millions de paramètres, 650 000 neurones et cinq couches convolutives, permettant de classer 1,2 million d’images haute résolution en 1 000 classes différentes. L’équipe a utilisé une mise en œuvre de GPU pour accélérer le temps total de formation. Hinton et son équipe sont entrés dans l’histoire en démontrant qu’un grand réseau de neurones à convolution profonde pouvait obtenir «des résultats sans précédent sur un ensemble de données extrêmement complexe utilisant un apprentissage purement supervisé» avec rétropropagation.

L’intelligence artificielle est sortie de la dormance grâce à un apprentissage en profondeur et à la technologie GPU. L’apprentissage en profondeur en est aux premiers stades de la commercialisation appliquée. Au cours de la prochaine décennie, Amnesty International continuera de prendre de l’élan à mesure qu’elle franchira le gouffre technologique d’une prolifération massive à l’échelle mondiale. L’intelligence artificielle (IA) évolue dans les domaines de la santé, des transports, de la découverte de médicaments, des biotechnologies, de la génomique, de l’électronique grand public, des applications logicielles d’entreprise, de la médecine de précision, de l’esport, des véhicules autonomes, des applications de médias sociaux, de la fabrication, de la recherche scientifique, du divertissement, de la géopolitique et de nombreux autres. plus de domaines. Dans un avenir pas si lointain, l’intelligence artificielle deviendra aussi omniprésente que l’Internet.

Copyright © 2019 Cami Rosso Tous droits réservés.

Références

Griewank, Andreas. “Qui a inventé le mode inverse de la différenciation?” Documenta Mathematica . Volume supplémentaire ISMP 389-400. 2012.

IEEE. «Prix des éditoriaux invités du Conseil des réseaux de neurones». Transactions IEEE sur les réseaux de neurones. Vol 7, n ° 1. Janvier 1996.

Rumelhart, David E., Hinton, Geoffrey E., Williams, Ronald J. «Apprendre à représenter des erreurs en faisant des erreurs en arrière». Nature . Vol. 323. 9 octobre 1986.

Krizhevsky, Alex, Sutskever, Ilya, Hinton, Geoffrey E. «Classification ImageNet avec réseaux de neurones convolutionnels profonds». Progrès des systèmes de traitement d’informations neuronaux 25 . 2012