ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ «ΕΠΙΣΤΗΜΗ ΔΕΔΟΜΕΝΩΝ & ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ»
ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ «ΜΑΘΗΜΑΤΙΚΗ ΠΡΟΤΥΠΟΠΟΙΗΣΗ ΣΕ ΣΥΓΧΡΟΝΕΣ ΤΕΧΝΟΛΟΓΙΕΣ & ΤΗ ΧΡΗΜΑΤΟΟΙΚΟΝΟΜΙΚΗ»
«ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΕΡΓΑΣΙΕΣ & ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΤΗ ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ»
Εαρινό Εξάμηνο 2023:
Διδάσκων: Ομότιμος Καθηγητής Βασίλης Μάγκλαρης
Υποστήριξη: Υποψήφιοι Διδάκτορες Νίκος Κωστόπουλος, Δημήτρης Πανταζάτος
Περιγραφή:
Επισκόπηση Αλγορίθμων Βελτιστοποίησης στη Μηχανική Μάθηση: Επιβλεπόμενη, μη επιβλεπόμενη, ενισχυτική μάθηση. Σύνολα δεδομένων Training, Validation & Testing Datasets. Linear & Logistic Regression
Νευρωνικά Δίκτυα, κανόνας του Hebb, προσδιορισμός παραμέτρων με επιβλεπόμενη μάθηση, Rosenblatt’s Perceptron, Back-Propagation Algorithm
Μη Επιβλεπόμενη Μάθηση: K-Means Clustering, Ανάλυση Κυρίων Συνιστωσών (Principal Components Analysis – PCA), Self-Organizing Maps (SOM), Autoencoders
Βασικές Έννοιες Στατιστικής Μηχανικής στη Μηχανική Μάθηση: Αλυσίδες Markov, ταξινόμηση καταστάσεων, πιθανότητες μετάβασης, εξισώσεις Chapman – Kolmogorov, επαναληπτικότητα – παροδικότητα, αναλλοίωτες κατανομές, ασυμπτωτική συμπεριφορά
Μέθοδοι Monte Carlo προσομοίωσης αλυσίδων Markov, αλγόριθμος Metropolis – Hastings. Προσομοιωμένη Ανόπτηση (Simulated Annealing), δειγματοληψία Gibbs. Παραγωγικά Μοντέλα Μάθησης (Generative Models), Μηχανή Boltzmann, Restricted Boltzmann Machine (RBM), Δίκτυα Πεποίθησης Μεγάλου Βάθους (Deep Belief Nets – DBN)
Ενισχυτική Μάθηση και Δυναμικός Προγραμματισμός: Διαδικασίες Απόφασης Markov (Markov Decision Processes), κριτήριο βελτιστοποίησης Bellman (Bellman’s Optimality Criterion), αλγόριθμοι βελτιστοποίησης Δυναμικού Προγραμματισμού (Value and Policy Iteration algorithms). Προσεγγιστικές μέθοδοι δυναμικού προγραμματισμού, Q-Learning
Ενισχυτική Μάθηση για Δρομολόγηση στο Internet: Αλγόριθμος Bellman – Ford, Border Gateway Protocols (BGP)
Αλγόριθμοι Πυρήνα και Διαχωρισιμότητα Προτύπων: Θεώρημα του Cover, εφαρμογές σε Radial-Basis Function (RBF) Networks, Υβριδική Μάθηση, Support Vector Machines (SVM)
Μη-παραμετρικοί ταξινομητές, ταξινόμηση σύμφωνα με γνωστές κάσειες K-Nearest Neighbors (KNN)
Στατιστική αξιολόγηση δυαδικής ταξινόμησης, Confusion Matrix, Receiver Operating Characteristics (ROC) & Area Under the Curve (AUC). Παραμετρική πιθανοτική ταξινόμηση – κανόνας Bayes, προσεγγιστικές μέθοδοι, αλγόριθμος Naive Bayes
Δένδρα Αποφάσεων (Decision Trees): Αλγόριθμοι διαμόρφωσης CART (Classification And Regression Trees), Gini Index, Random Forests, Ααλγόριθμοι Bagging (Bootstrap & aggregating)
Ακολουθιακά Μοντέλα και Αλγόριθμοι βασισμένοι σε Time-series & Speech Processing Datasets: Recurrent Neural Nets (RNN), δίκτυα Hopfield, Long-Short Term Memory (LSTM) Nets
Εργαστηριακές Ασκήσεις:
Στην Αίθουσα 2 της ΣΗΜΜΥ με χρήση εργαλείων – βιβλιοθηκών Python.
Προτεινόμενη Βιβλιογραφία:
- Simon Haykin, “Neural Networks and Learning Machines”, Third Edition, Pearson Education, 2009
- Simon Haykin, “Νευρωνικά Δίκτυα και Μηχανική Μάθηση”, Τρίτη Έκδοση, Παπασωτηρίου, 2010 (Ελληνική μετάφραση)
- Bernhard Mehlig, “Machine learning with neural networks”, Cambridge Univ. Press 2021 https://arxiv.org/pdf/1901.05639.pdf
- Μιχάλης Λουλάκης, “Στοχαστικές Διαδικασίες”, ΣΕΑΒ 2015
- Βασίλης Μάγκλαρης, “Σημειώσεις Μαθήματος Συστήματα Αναμονής”, Συλλογή διαφανειών για το προπτυχιακό μάθημα της ΣΗΜΜΥ – ΕΜΠ, 2018 http://www.netmode.ntua.gr/courses/undergraduate/queues/documents/Queuing_Systems_2018.pdf
- Kevin P. Murphy, “Machine Learning: A Probabilistic Perspective”, MIT Press, 2012
- Ian Goodfellow, Yoshua Bengio and Aaron Courville, “Deep Learning”, MIT Press, 2016 https://www.deeplearningbook.org/
- Daniel Jurafsky and James H. Martin, “Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition”, Third Edition draft, 2018
- Andrew Ng, “CS229 Lecture Notes“, Stanford University, Fall 2018 https://see.stanford.edu/materials/aimlcs229/cs229-notes1.pdf
- James Gareth, Daniela Witten, Trevor Hastie and Robert Tibshirani, “An Introduction to Statistical Learning with Applications in R“, Second Edition, Springer 2021, https://hastie.su.domains/ISLR2/ISLRv2_website.pdf
- Richard Sutton and Andrew Barto, “Reinforcement Learning: An Introduction“, Second Edition, MIT Press, 2018
- Christopher Bishop, “Pattern Recognition and Machine Learning”, Springer 2006
- Tom Mitchell, “Machine Learning”, McGraw Hill 1997 http://www.cs.cmu.edu/~tom/mlbook.htm
- Frank Kelly, “Reversibility and Stochastic Networks“, Wiley, 1979 http://www.statslab.cam.ac.uk/~frank/BOOKS/book/whole.pdf
- Sheldon Ross, “Applied Probability Models with Optimization Applications“, Dover, 1992