Deep Learning

Descripción

INDICE
Lista de figuras IX
Lista de tablas XIV
Lista de variables XV
Introducción XIX
1. Conceptos sobre redes neuronales artificiales y
aprendizaje profundo
Introducción 1
Objetivos del capítulo 1
Inteligencia artificial, redes neuronales artificiales y Deep Learning 1
Breve reseña histórica 3
La neurona biológica 6
La neurona artificial 9
Procesamiento matemático en la neurona artificial 10
Red neuronal artificial 12
Arquitecturas de redes neuronales artificiales 13
De acuerdo con la cantidad de capas 14
Redes multicapa superficial o de una capa oculta 14
Redes multicapa profundas 15
De acuerdo con el flujo de la información 15
Redes Feedforward 15
Redes recurrentes 16
El aprendizaje en las redes neuronales artificiales 16
Aprendizaje supervisado 18
Aprendizaje no supervisado 19
Aprendizaje por refuerzo 20
Ejemplo de procesamiento de la información en una red neuronal 20
Aplicaciones 22
Visión por computador 22
Procesamiento de voz 25
Reconocimiento de sonido 25
Procesamiento de texto 26
Otras aplicaciones 26
2. Los principios del aprendizaje profundo: redes monocapa
Introducción 27
Red Neuronal Perceptron 28
Arquitectura y funcionamiento 28
Algoritmo de aprendizaje 31

[VI]
Contenido
Red Neuronal Adaline (ADAptative LINear Element) 34
Arquitectura 34
Algoritmo de aprendizaje 35
Limitaciones del Perceptron 37
Proyectos de aplicación 39
Solución de la función lógica AND con un Perceptron 39
Reconocimiento de caracteres usando el Perceptron 42
Filtro adaptativo usando una red Adaline 46
Filtrado de señales de voz 49
Filtro adaptativo usando una red Adaline implementada en Arduino 49
Ejercicios propuestos 54
3. Superando las dificultades con la propagación
inversa en las redes
Introducción 59
Arquitectura general de un Perceptron multicapa superficial 60
Entrenamiento de un MLP superficial 61
Nomenclatura para las redes superficiales 61
Algoritmo de entrenamiento 62
Gradiente descendente estocástico y gradiente descendente 62
Gradiente descendente estocástico (GDE) 62
Procesamiento de datos hacia adelante “feedforward” 63
Actualización de pesos para la capa de salida 64
Actualización de los bias para la capa de salida 65
Actualización de pesos para la capa oculta 65
Backpropagation 66
Actualización de los bias para la capa oculta 67
Variaciones del gradiente descendente 67
Algoritmo gradiente descendente con alfa variable 69
Algoritmo gradiente descendente con momentum clásico 69
Algoritmos de segundo orden para redes neuronales MLP 70
Método de Newton aplicado a redes neuronales 72
Levenberg Marquardt 74
Gradiente conjugado 74
Consideraciones de diseño 77
Conjuntos de aprendizaje y de validación 77
Dimensión de la red neuronal 78
Funciones de activación 79
Pre y posprocesamiento de datos 79
Regularización 81
Regularización por parada temprana 81
Regularización por limitación de la magnitud de los pesos L2 83
Proyectos de aplicación 84
Solución del problema de la función XOR con Matlab 84
Aprendizaje de una función seno con Matlab 86
Aprendizaje de una superficie (función de dos variables) Silla de Montar con Matlab 86

[VII]
Contenido
Identificación de sistemas usando redes neuronales MLP 89
Diseño del experimento y muestreo de datos 91
Modelo a usar y estimación de parámetros (Entrenamiento de la red) 93
Validación del modelo obtenido con la RNA 95
Aplicación a la clasificación de patrones (el problema del IRIS) 95
Reconocimiento de caracteres mano escritos (conjunto de datos MNIST) con una red superficial 97
Generador de ondas senoidales implementado
con una red neuronal MLP en Arduino 102
Emulación de un sistema dinámico implementado con una red neuronal MLP en Arduino 104
Ejercicios propuestos 106
4. Aprendizaje profundo (Deep Learning) o las redes de
muchas capas
Introducción 117
Problemas para entrenar redes neuronales profundas 118
Desvanecimiento del gradiente 118
Se requiere muchos datos 121
Se requiere una alta capacidad de cómputo 122
¿Cómo solucionar el problema del desvanecimiento del gradiente? 123
Cambio en funciones de activación 123
Cambio en la función de pérdida o de costo 124
Reconocimiento de patrones convencional vs Deep Learning 125
Extracción de características automático en una imagen 126
Algoritmos de entrenamiento para redes profundas 126
Algoritmo gradiente descendente con momentum Nesterov 127
Algoritmo gradiente descendente tipo AdaGrad 127
Algoritmo gradiente descendente tipo RMSProp 128
Algoritmo gradiente descendente tipo AdaDelta 129
Algoritmo gradiente descendente tipo Adam 130
Arquitecturas de Deep Learning 130
Autocodificadores apilados 130
Redes neuronales convolucionales (Convolutional Neural Networks, CNN) 132
Redes recurrentes tipo Long Short Term Memory (LSTM) 132
Redes generativas profundas 134
Autocodificadores Variacionales (VAE) 134
Redes Generadoras Adversarias (GAN) 134
Aprendizaje por Refuerzo Profundo (Deep Reinforcement Learning, DRL) 136
Proyectos de aplicación 139
Aplicación a la clasificación del problema del Iris con una red profunda 139
Reconocimiento de caracteres mano escritos (MNIST data set) con una red profunda 140
Disminución de la dimensionalidad con un autocodificador para el data set MNIST 144
Reconocimiento de caracteres mano escritos (MNIST) con un autocodificador disperso 155
Ejercicios propuestos 159

[VIII]
Contenido
5. Redes convolucionales
Introducción 163
Breve introducción al procesamiento de imágenes 163
¿Cómo ve un computador? 164
Inspiración biológica de una CNN 167
Funcionamiento de una red convolucional 167
Convolución 167
Zero-Padding 169
Convolución con imágenes a color 170
Función de activación 171
Pooling 172
Capa clasificadora 172
Otros procesos comunes en CNN 172
Arquitectura general de una CNN 177
Dimensionamiento de una red neuronal convolucional 177
Algunas arquitecturas de redes convolucionales representativas 179
LetNet–5 179
AlexNet 180
VGG16 net 180
Resnet 180
Inception 182
De Alexnet a Inception 182
Proyectos de aplicación 184
Uso de una red preentrenada en Matlab 184
Entrenamiento de una CNN para reconocimiento de caracteres mano escritos del data set MNIST 184
Entrenamiento de una CNN para reconocimiento de imágenes Data set CIFAR–10 186
Transfer Learning con Matlab 200
Deep Dream 204

ISBN 9789587786866