ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ «ΕΠΙΣΤΗΜΗ ΔΕΔΟΜΕΝΩΝ & ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ»
ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ  ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ «ΜΑΘΗΜΑΤΙΚΗ ΠΡΟΤΥΠΟΠΟΙΗΣΗ ΣΕ ΣΥΓΧΡΟΝΕΣ ΤΕΧΝΟΛΟΓΙΕΣ & ΤΗ ΧΡΗΜΑΤΟΟΙΚΟΝΟΜΙΚΗ»
«ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΕΡΓΑΣΙΕΣ & ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΤΗ ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ»

Εαρινό Εξάμηνο 2023:

Διδάσκων: Ομότιμος Καθηγητής Βασίλης Μάγκλαρης

Υποστήριξη: Υποψήφιοι Διδάκτορες Νίκος ΚωστόπουλοςΔημήτρης Πανταζάτος

Περιγραφή:

Επισκόπηση Αλγορίθμων Βελτιστοποίησης στη Μηχανική Μάθηση: Επιβλεπόμενη, μη επιβλεπόμενη, ενισχυτική μάθηση. Σύνολα δεδομένων Training, Validation & Testing Datasets. Linear & Logistic Regression

Νευρωνικά Δίκτυα, κανόνας του Hebb, προσδιορισμός παραμέτρων με επιβλεπόμενη μάθηση, Rosenblatt’s Perceptron, Back-Propagation Algorithm

Μη Επιβλεπόμενη Μάθηση: K-Means Clustering, Ανάλυση Κυρίων Συνιστωσών (Principal Components Analysis – PCA), Self-Organizing Maps (SOM), Autoencoders

Βασικές Έννοιες Στατιστικής Μηχανικής στη Μηχανική Μάθηση: Αλυσίδες Markov, ταξινόμηση καταστάσεων, πιθανότητες μετάβασης, εξισώσεις Chapman – Kolmogorov, επαναληπτικότητα – παροδικότητα, αναλλοίωτες κατανομές, ασυμπτωτική συμπεριφορά

Μέθοδοι Monte Carlo προσομοίωσης αλυσίδων Markov, αλγόριθμος Metropolis – Hastings. Προσομοιωμένη Ανόπτηση (Simulated Annealing), δειγματοληψία Gibbs. Παραγωγικά Μοντέλα Μάθησης (Generative Models), Μηχανή Boltzmann, Restricted Boltzmann Machine (RBM), Δίκτυα Πεποίθησης Μεγάλου Βάθους (Deep Belief Nets – DBN)

Ενισχυτική Μάθηση και Δυναμικός Προγραμματισμός: Διαδικασίες Απόφασης Markov (Markov Decision Processes), κριτήριο βελτιστοποίησης Bellman (Bellman’s Optimality Criterion), αλγόριθμοι βελτιστοποίησης Δυναμικού Προγραμματισμού (Value and Policy Iteration algorithms). Προσεγγιστικές μέθοδοι δυναμικού προγραμματισμού, Q-Learning

Ενισχυτική Μάθηση για Δρομολόγηση στο Internet: Αλγόριθμος Bellman – Ford, Border Gateway Protocols (BGP)

Αλγόριθμοι Πυρήνα και Διαχωρισιμότητα Προτύπων: Θεώρημα του Cover, εφαρμογές σε Radial-Basis Function (RBF) Networks, Υβριδική Μάθηση, Support Vector Machines (SVM)

Μη-παραμετρικοί ταξινομητές, ταξινόμηση σύμφωνα με γνωστές κάσειες K-Nearest Neighbors (KNN)

Στατιστική αξιολόγηση δυαδικής ταξινόμησης, Confusion Matrix, Receiver Operating Characteristics (ROC) & Area Under the Curve (AUC). Παραμετρική πιθανοτική ταξινόμηση – κανόνας Bayes, προσεγγιστικές μέθοδοι, αλγόριθμος Naive Bayes

Δένδρα Αποφάσεων (Decision Trees): Αλγόριθμοι διαμόρφωσης CART (Classification And Regression Trees), Gini Index, Random Forests, Ααλγόριθμοι Bagging (Bootstrap & aggregating)

Ακολουθιακά Μοντέλα και Αλγόριθμοι βασισμένοι σε Time-series & Speech Processing Datasets: Recurrent Neural Nets (RNN), δίκτυα Hopfield, Long-Short Term Memory (LSTM) Nets

Εργαστηριακές Ασκήσεις:

Στην Αίθουσα 2 της ΣΗΜΜΥ με χρήση εργαλείων – βιβλιοθηκών Python.

Προτεινόμενη Βιβλιογραφία:

  1. Simon Haykin, “Neural Networks and Learning Machines”, Third Edition, Pearson Education, 2009
  2. Simon Haykin, “Νευρωνικά Δίκτυα και Μηχανική Μάθηση”, Τρίτη Έκδοση, Παπασωτηρίου, 2010 (Ελληνική μετάφραση)
  3. Bernhard Mehlig, “Machine learning with neural networks”, Cambridge Univ. Press 2021 https://arxiv.org/pdf/1901.05639.pdf  
  4. Μιχάλης Λουλάκης, “Στοχαστικές Διαδικασίες”, ΣΕΑΒ 2015
  5. Βασίλης Μάγκλαρης, “Σημειώσεις Μαθήματος Συστήματα Αναμονής”, Συλλογή διαφανειών για το προπτυχιακό μάθημα της ΣΗΜΜΥ – ΕΜΠ, 2018 http://www.netmode.ntua.gr/courses/undergraduate/queues/documents/Queuing_Systems_2018.pdf
  6. Kevin P. Murphy, “Machine Learning: A Probabilistic Perspective”, MIT Press, 2012
  7. Ian Goodfellow, Yoshua Bengio and Aaron Courville, “Deep Learning”, MIT Press, 2016 https://www.deeplearningbook.org/
  8. Daniel Jurafsky and James H. Martin, “Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition”, Third Edition draft, 2018
  9. Andrew Ng, “CS229 Lecture Notes“, Stanford University, Fall 2018 https://see.stanford.edu/materials/aimlcs229/cs229-notes1.pdf
  10. James Gareth, Daniela Witten, Trevor Hastie and Robert Tibshirani, “An Introduction to Statistical Learning with Applications in R“, Second Edition, Springer 2021, https://hastie.su.domains/ISLR2/ISLRv2_website.pdf
  11. Richard Sutton and Andrew Barto, “Reinforcement Learning: An Introduction“, Second Edition, MIT Press, 2018
  12. Christopher Bishop, “Pattern Recognition and Machine Learning”, Springer 2006
  13. Tom Mitchell, “Machine Learning”, McGraw Hill 1997 http://www.cs.cmu.edu/~tom/mlbook.htm
  14. Frank Kelly, “Reversibility and Stochastic Networks“, Wiley, 1979 http://www.statslab.cam.ac.uk/~frank/BOOKS/book/whole.pdf
  15. Sheldon Ross, “Applied Probability Models with Optimization Applications“, Dover, 1992
ΗμερομηνίαΔιάλεξη Διαφάνειες  
01/03/2022Εισαγωγικά περί Μηχανικής Μάθησης, Επισκόπηση Linear & Logistic RegressionΑρχείο
08/03/2022Επισκόπηση Νευρωνικών Δικτύων, Κανόνας του Hebb, Ρύθμιση Παραμέτρων με Επιβλεπόμενη Μάθηση, Back Propagation AlgorithmΑρχείο
15/03/2022Μη Επιβλεπόμενη Μάθηση – Unsupervised Learning, K-Means Clustering, Ανάλυση Κυρίων Συνιστωσών- Principal Component Analysis (PCA), Self-Organizing Maps (SOM), AutoencodersΑρχείο
22/03/2022Μοντέλα Στατιστικής Μηχανικής, Κινητικότητα & Ισορροπία, Αλυσίδες Markov: Καταστάσεις, Εξισώσεις ΜεταβάσεωνΑρχείο
29/03/2022Προσομοίωση Monte Carlo Αλυσίδων Markov: Αλγόριθμοι Metropolis & Metropolis-Hastings, Προσομοιωμένη Ανόπτηση – Simulated Annealing, Markov Random Fields, Ising ModelΑρχείο
05/04/2022Μέθοδοι Μηχανικής Μάθησης & Βελτιστοποίησης μέσω Εννοιών Στατιστικής Φυσικής: Αλγόριθμοι Simulated Annealing, Gibbs Sampling, Μηχανή BoltzmannΑρχείο
12/04/2022Στοχαστικές Μηχανές Μη Επιβλεπόμενης Μάθησης: Παραγωγικά Μοντέλα – Generative Models: (i) Boltzmann Machine & Logistic Belief Nets, (ii) Restricted Boltzmann Machine (RBM) – Deep Belief NetsΑρχείο
03/05/2022Ενισχυτική Μάθηση – Δυναμικός Προγραμματισμός: (i) Markov Decision Processes, (ii) Bellman’s Optimality Criterion, (iii) Αλγόριθμος Policy Iteration, (iv) Αλγόριθμος Value IterationΑρχείο
10/05/2022Ενισχυτική Μάθηση με Προσεγγιστικές Μεθόδους: (i) Μάθηση Χρονικών Διαφορών (Temporal-Difference Learning), (ii) Στοχαστικός Αλγόριθμος Q-Learning, (iii) Κατενημημένη Υλοποίηση Ενισχυτικής Μάθησης, (iv) Αλγόριθμος Bellman-Ford, Δρομολόγηση BGP στο InternetΑρχείο
17/05/2022Δυαδική Ταξινόμηση – Αλγόριθμοι Πυρήνα (Kernel Methods): (i) Διαχωρισιμότητα Προτύπων, Θεώρημα του Cover, (ii) Radial-Basis Function (RBF) Networks, (iii) RBF Hybrid Learning, (iv) Support Vector Machines (SVM)Αρχείο
24/05/2022(i) Μη-παραμετρικοί Ταξινομητές – K Πλησιέστερα Στοιχεία Μάθησης (K-Nearest Neighbors – KNN), (ii) Στατιστική Αξιολόγηση Δυαδικής Ταξινόμησης – Μετρικές Αξιολόγησης Μεθόδων, Μήτρα Σύγχυσης, ROC, AUC, (iii) Παραμετρική Πιθανοτική Ταξινόμηση – Εκτίμηση MLE & MAP, Ταξινομητής Bayes, Αλγόριθμος Naive BayesΑρχείο
31/05/2022Δένδρα Αποφάσεων (Decision Trees): (i) Αλγόριθμοι Διαμόρφωσης CART (Classification And Regression Trees), Gini Index, (ii) Random Forests, (iii) Αλγόριθμοι Bagging (Bootstrap & aggregating)Αρχείο
07/06/2022Ακολουθιακά Μοντέλα Συσχετισμένων Δεδομένων Μάθησης: (ι) Δίκτυα Hopfield, (ii) Recurrent Neural Nets (RNN), (iii) Δίκτυα Long Short-Term Memory (LSTM)Αρχείο
Skip to content