CS-433 / 8 crédits

Enseignant(s): Flammarion Nicolas Henri Bernard, Jaggi Martin

Langue: Anglais

## Summary

Machine learning methods are becoming increasingly central in many sciences and applications. In this course, fundamental principles and methods of machine learning will be introduced, analyzed and practically implemented.

## Content

1. Basic regression and classification concepts and methods: Linear models, overfitting, linear regression, Ridge regression, logistic regression, k-NN, SVMs and kernel methods
2. Fundamental concepts: cost-functions and optimization, cross-validation and bias-variance trade-off, curse of dimensionality.
3. Neural Networks: Representation power, backpropagation, activation functions, CNN, regularization, data augmentation, dropout
4. Unsupervised learning: k-means clustering, gaussian mixture models and the EM algorithm. Basics of self-supervised learning
5. Dimensionality reduction: PCA and matrix factorization, word embeddings

## Keywords

• Machine learning, pattern recognition, deep learning, neural networks, data mining, knowledge discovery, algorithms

## Required courses

• Analysis I, II, III
• Linear Algebra
• Probability and Statistics (MATH-232)
• Algorithms I (CS-250)

## Recommended courses

• Introduction to machine learning (CS-233)
• ...or similar bachelor lecture from other sections

## Important concepts to start the course

• Basic probability and statistics (conditional and joint distribution, independence, Bayes rule, random variables, expectation, mean, median, mode, central limit theorem)
• Basic linear algebra (matrix/vector multiplications, systems of linear equations, SVD)
• Multivariate calculus (derivative w.r.t. vector and matrix variables)
• Basic Programming Skills (labs will use Python)

## Learning Outcomes

By the end of the course, the student must be able to:

• Define the following basic machine learning problems: Regression, classification, clustering, dimensionality reduction, time-series
• Explain the main differences between them
• Implement algorithms for these machine learning models
• Optimize the main trade-offs such as overfitting, and computational cost vs accuracy
• Implement machine learning methods to real-world problems, and rigorously evaluate their performance using cross-validation. Experience common pitfalls and how to overcome them
• Explain and understand the fundamental theory presented for ML methods
• Conduct a real-world interdisciplinary machine learning project, in collaboration with application domain experts
• Define the following basic machine learning models: Regression, classification, clustering, dimensionality reduction, neural networks, time-series analysis

## Teaching methods

• Lectures
• Lab sessions
• Course Projects

## Expected student activities

Students are expected to:

• attend lectures
• attend lab sessions and work on the weekly theory and coding exercises
• work on projects using the code developed during labs, in small groups

## Assessment methods

• Written final exam
• Continuous control (Course projects)

## Supervision

 Office hours Yes Assistants Yes Forum Yes

No

## Notes/Handbook

https://github.com/epfml/ML_course

## Dans les plans d'études

• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: obligatoire
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: obligatoire
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: obligatoire
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: obligatoire
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: obligatoire
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: obligatoire
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: obligatoire
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: obligatoire
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Semestre: Automne
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel
• Forme de l'examen: Ecrit (session d'hiver)
• Matière examinée: Machine learning
• Cours: 4 Heure(s) hebdo x 14 semaines
• Exercices: 2 Heure(s) hebdo x 14 semaines
• Projet: 2 Heure(s) hebdo x 14 semaines
• Type: optionnel

## Semaine de référence

Mardi, 16h - 18h: Cours RLC E1 240

Mercredi, 10h - 12h: Cours RLC E1 240

Jeudi, 14h - 16h: Exercice, TP INF1
INF119
INM202
INJ218
INR219

## Cours connexes

Résultats de graphsearch.epfl.ch.