Contents
1 Forewords: Machine Learning and Physics . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
1
1.1 Introduction to Information Theory . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2
1.2 Physics and Information Theory.. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4
1.3 Machine Learning and Information Theory .. . . .. . . . . . . . . . . . . . . . . . . .
5
1.4 Machine Learning and Physics . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8
Part I Physical View of Deep Learning
2 Introduction to Machine Learning . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 17
2.1 The Purpose of Machine Learning . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 17
2.1.1 Mathematical Formulation of Data . . . .. . . . . . . . . . . . . . . . . . . . 19
2.2 Machine Learning and Occam’s Razor.. . . . . . . . .. . . . . . . . . . . . . . . . . . . . 21
2.2.1 Generalization . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 23
2.3 Stochastic Gradient Descent Method .. . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 25
Column: Probability Theory and Information Theory .. . . . . . . . . . . . . . . . . . . . 27
3 Basics of Neural Networks .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 35
3.1 Error Function from Statistical Mechanics.. . . . .. . . . . . . . . . . . . . . . . . . . 35
3.1.1 From Hamiltonian to Neural Network .. . . . . . . . . . . . . . . . . . . . 36
3.1.2 Deep Neural Network . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 45
3.2 Derivation of Backpropagation Method Using Bracket
Notation .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 47
3.3 Universal Approximation Theorem of Neural Network .. . . . . . . . . . . 50
Column: Statistical Mechanics and Quantum Mechanics.. . . . . . . . . . . . . . . . . 53
4 Advanced Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 57
4.1 Convolutional Neural Network . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 57
4.1.1 Convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 57
4.1.2 Transposed Convolution .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 60
4.2 Recurrent Neural Network and Backpropagation.. . . . . . . . . . . . . . . . . . 62
4.3 LSTM .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 66
Column: Edge of Chaos and Emergence of Computability .. . . . . . . . . . . . . . . 70
xi
1 Forewords: Machine Learning and Physics . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
1
1.1 Introduction to Information Theory . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2
1.2 Physics and Information Theory.. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4
1.3 Machine Learning and Information Theory .. . . .. . . . . . . . . . . . . . . . . . . .
5
1.4 Machine Learning and Physics . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8
Part I Physical View of Deep Learning
2 Introduction to Machine Learning . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 17
2.1 The Purpose of Machine Learning . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 17
2.1.1 Mathematical Formulation of Data . . . .. . . . . . . . . . . . . . . . . . . . 19
2.2 Machine Learning and Occam’s Razor.. . . . . . . . .. . . . . . . . . . . . . . . . . . . . 21
2.2.1 Generalization . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 23
2.3 Stochastic Gradient Descent Method .. . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 25
Column: Probability Theory and Information Theory .. . . . . . . . . . . . . . . . . . . . 27
3 Basics of Neural Networks .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 35
3.1 Error Function from Statistical Mechanics.. . . . .. . . . . . . . . . . . . . . . . . . . 35
3.1.1 From Hamiltonian to Neural Network .. . . . . . . . . . . . . . . . . . . . 36
3.1.2 Deep Neural Network . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 45
3.2 Derivation of Backpropagation Method Using Bracket
Notation .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 47
3.3 Universal Approximation Theorem of Neural Network .. . . . . . . . . . . 50
Column: Statistical Mechanics and Quantum Mechanics.. . . . . . . . . . . . . . . . . 53
4 Advanced Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 57
4.1 Convolutional Neural Network . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 57
4.1.1 Convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 57
4.1.2 Transposed Convolution .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 60
4.2 Recurrent Neural Network and Backpropagation.. . . . . . . . . . . . . . . . . . 62
4.3 LSTM .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 66
Column: Edge of Chaos and Emergence of Computability .. . . . . . . . . . . . . . . 70
xi