- français
- English
Fiches de cours
Deep learning
EE-559
Enseignant(s) :
Fleuret FrançoisLangue:
English
Withdrawal
It is not allowed to withdraw from this subject after the registration deadline.Summary
The objective of this course is to provide a complete introduction to deep machine learning. How to design a neural network, how to train it, and what are the modern techniques that specifically handle very large networks.Content
The course aims at providing an overview of existing processings and methods, at teaching how to design and train a deep neural network for a given task, and at providing the theoretical basis to go beyond the topics directly seen in the course.
It will touch on the following topics:
- What is deep learning, introduction to tensors.
- Basic machine-learning, empirical risk minimization, simple embeddings.
- Linear separability, multi-layer perceptrons, back-propagation.
- Generalized networks, autograd, batch processing, convolutional networks.
- Initialization, optimization, and regularization. Drop-out, batchnorm, resnets.
- Deep models for Computer Vision.
- Analysis of deep models.
- Auto-encoders, embeddings, and generative models.
- Recurrent and attention models, Natural Language Processing.
Concepts will be illustrated with examples in the PyTorch framework (http://pytorch.org).
Keywords
machine learning, neural networks, deep learning, computer vision, python, pytorch
Learning Prerequisites
Required courses
- Linear algebra (vector, matrix operations, Euclidean spaces).
- Differential calculus (Jacobian, Hessian, chain rule).
- Python programming.
- Basics in probabilities and statistics (discrete and continuous distributions, normal density, law of large numbers, conditional probabilities, Bayes, PCA)
Recommended courses
- Basics in optimization (notion of minima, gradient descent).
- Basics in algorithmic (computational costs).
- Basics in signal processing (Fourier transform, wavelets).
Teaching methods
Ex-cathedra with exercise sessions and mini-projects. Possibly invited speakers.
Assessment methods
Mini-projects by groups of students, and one final written exam.
Resources
Notes/Handbook
Not mandatory: http://www.deeplearningbook.org/
Websites
Dans les plans d'études
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
- SemestrePrintemps
- Forme de l'examenEcrit
- Crédits
4 - Matière examinée
Deep learning - Nombre de places
500 - Cours
2 Heure(s) hebdo x 14 semaines - Exercices
2 Heure(s) hebdo x 14 semaines
- Semestre
Semaine de référence
| Lu | Ma | Me | Je | Ve | |
|---|---|---|---|---|---|
| 8-9 | RLCE1240 | ||||
| 9-10 | |||||
| 10-11 | |||||
| 11-12 | CM1100 CM1103 CM1106 CO5 PO01 | ||||
| 12-13 | |||||
| 13-14 | |||||
| 14-15 | |||||
| 15-16 | |||||
| 16-17 | |||||
| 17-18 | |||||
| 18-19 | |||||
| 19-20 | |||||
| 20-21 | |||||
| 21-22 |
Cours
Exercice, TP
Projet, autre
légende
- Semestre d'automne
- Session d'hiver
- Semestre de printemps
- Session d'été
- Cours en français
- Cours en anglais
- Cours en allemand