Učni načrt predmeta

Predmet:
Metodologija in evalvacija v tehnologijah znanja
Course:
Methodology and Evaluation in Knowledge Technologies
Študijski program in stopnja /
Study programme and level		 Študijska smer /
Study field		 Letnik /
Academic year		 Semester /
Semester
Informacijske in komunikacijske Tehnologije znanja 1 1
Information and Communication Knowledge Technologies 1 1
Vrsta predmeta / Course type
Izbirni
Univerzitetna koda predmeta / University course code:
IKT3-720
Predavanja
Lectures		 Seminar
Seminar		 Vaje
Tutorial		 Klinične vaje
work		 Druge oblike
študija		 Samost. delo
Individ. work		 ECTS
15 15 15 105 5

*Navedena porazdelitev ur velja, če je vpisanih vsaj 15 študentov. Drugače se obseg izvedbe kontaktnih ur sorazmerno zmanjša in prenese v samostojno delo. / This distribution of hours is valid if at least 15 students are enrolled. Otherwise the contact hours are linearly reduced and transfered to individual work.

Nosilec predmeta / Course leader:
prof. dr. Marko Robnik Šikonja
Sodelavci / Lecturers:
Jeziki / Languages:
Predavanja / Lectures:
Slovenščina, angleščina / Slovenian, English
Vaje / Tutorial:
Pogoji za vključitev v delo oz. za opravljanje študijskih obveznosti:
Prerequisites:

Zaključen študij druge stopnje s področja informacijskih ali komunikacijskih tehnologij ali zaključen študij druge stopnje na drugih področjih z znanjem osnov s področja predmeta. Potrebna so tudi osnovna znanja matematike, računalništva in informatike.

Completed second cycle studies in information or communication technologies or completed second cycle studies in other fields with knowledge of fundamentals in the field of this course. Basic knowledge of mathematics, computer science and informatics is also requested.

Vsebina:
Content (Syllabus outline):

Učenje kot modeliranje in optimizacija:
cilji učenja, različne naloge učenja, klasifikacija, regresija, ocenjevanje verjetnosti in gostote verjetnosti, rangiranje, razvrščanje, posplošitve osnovnih nalog, učenje kot optimizacija

Uspešnost učenja:
mere uspešnosti učenja za različne naloge, intervali zaupanja, strmenske in permutacijske metode, kalibracija verjetnosti

Ocene napake:
pretirana prilagoditev učnim podatkom, regularizacija, dekompozicija napake na pristranost in razpršenost, prečno preverjanje, VC dimenzija, princip najkrajše dolžine opisa

Primerjava modelov:
neobstoj zastonjskega kosila, statistični testi za primerjavo modelov

Kombiniranje modelov:
šibko učenje in principi kombiniranja metod, napake in raznolikost kombiniranih metod

Vizualizacija napovednih modelov:
aditivni modeli, razlage odločitev, vizualizacijske tehnike za nekatere kompleksne modele2222

Primeri uporabe za področje jezikovnih tehnologij in omrežij.

Learning as modeling and optimization:
learning goals, learning tasks, classification, regression, probability estimation, density estimation, ranking, clustering, generalizations of basic tasks, learning as optimization

Validation of learning:
validation measures for different tasks, confidence intervals, bootstrap and permutation approaches, probability calibration

Error estimation:
data overfitting, regularization, bias-variance error, decomposition,, cross-validation, VC dimension, minimum description length principle

Model comparison:
no free lunch theorem, statistical test for model comparison

Combining models:
weak learning and principles of ensemble learning, error and diversity in ensembles

Visualization of predictive models:
additive models, explaining decisions, visualization techniques for some complex models

Use cases from natural language processing and graph learning

Temeljna literatura in viri / Readings:

Izbrana poglavja iz naslednjih knjig (vsa prostodostopna): / Selected chapters from the following books (all freely accessible):
Kevin P. Murphy, Probabilistic Machine Learning: An Introduction. MIT Press, 2022, ISBN 978-0262046824.
T. Hastie, R. Tibshirani, and J. Friedman, The elements of statistical learning, 2nd edition. Springer, 2009. ISBN 978-0-387-84857-0.
James, G., Witten, D., Hastie, T., Tibshirani, R. and Taylor, J., 2023. An Introduction to Statistical Learning: With Applications in Python. New York: Springer
I. Goodfellow, Y. Bengio, and A. Courville, Deep learning. MIT Press, 2016, ISBN 978-0262035613.
Kevin P. Murphy: Probabilistic Machine Learning: Advanced Topics. MIT Press, 2023, ISBN 978-0262048439

Cilji in kompetence:
Objectives and competences:

Cilj predmeta je pregledno predstaviti metodologijo in evalvacijo statističnega učenja na primerih s področja procesiranja naravnega jezika in grafov. Poudarek je na povezavi poznavanja teoretičnih konceptov s praktičnimi znanji iz podatkovne analitike, povezanimi z rabo orodij, ki omogočajo analizo podatkov, evalvacijo in izbor modelov, njihovo vizualizacijo in interpretacijo.

Predvidene kompetence:
- poznavanje osnovnih metodoloških pristopov k statističnemu učenju,
- poznavanje mer uspešnosti učenja in njihovih lastnosti,
- poznavanje načinov za ocenjevanje posplošitvene napake učenja,
- praktična uporaba statističnih testov za primerjavo učnih modelov,
- poznavanje načinov za kombiniranje učnih metod,
- napredna vizualizacija napovednih modelov in odločitev,
- poznavanje odprtokodnih orodij za statistično učenje

The goal of the course is to present a comprehensive overview of statistical learning methodology and evaluation of learned models on natural language processing and graph learning use cases. The emphasis is to integrate theoretical knowledge of methodology and evaluation with practical skills from data analytics, i.e., the use of analytical tools for statistical learning, evaluation, model selection, visualization and interpretation of models.

The competencies of the students completing this course would include:
- understanding basic methodological approaches for statistical learning,
- knowledge of measures for success of learning and their properties,
- knowledge of generalization error estimation,
- practical use of statistical tests for comparison of learned models,
- knowledge of combining different models,
- competences in visualization of predictive models and their decisions,
- capability to apply open-source statistical learning tools.

Predvideni študijski rezultati:
Intendeded learning outcomes:

Študenti bodo z uspešno opravljenimi obveznostmi tega predmeta pridobili:
- pregled nalog statističnega učenja in njihove praktične rabe,
- pregled mer za ocenjevanje napake učenja in razumevanje njihovih lastnosti,
- sposobnost uporabe tehnik za dekompozicijo napake na pristranskost in razpršenost,
- sposobnost ugotavljanja primernosti učnih modelov in izbora najprimernejšega,
- veščine vizualizacije učnih modelov in njihovih rezultatov.

Students successfully completing this course will acquire:
- overview of statistical learning tasks and their practical use,
- overview of error estimation measures and comprehension of their properties,
- the ability to apply bias variance decomposition analysis,
- the ability to select learned models,
- the ability to visualize learning models and their predictions.

Metode poučevanja in učenja:
Learning and teaching methods:

Predavanja, seminar, konzultacije, individualno delo.

Lectures, seminar, consultations, individual work.

Načini ocenjevanja:
Delež v % / Weight in %
Assesment:
Priprava metodologije za znanstven članek
40 %
Preparing a methodology for a scientific paper
Priprava in izvedba evalvacije za znanstven članek
40 %
Preparing and implementing an evaluation for a scientific paper
Javna predstavitev članka s področja metodologije ali evalvacije
15 %
Public presentation of a paper from methodology or evaluation
Reference nosilca / Lecturer's references:
1. MIOK, Kristian, ŠKRLJ, Blaž, ZAHARIE, Daniela, ROBNIK ŠIKONJA, Marko. To BAN or not to BAN: Bayesian attention networks for reliable hate speech detection. Cognitive computation. 2021
2. MARTINC, Matej, POLLAK, Senja, ROBNIK-ŠIKONJA, Marko: Supervised and Unsupervised Neural Approaches to Text Readability. Computational Linguistics, 1–39, 2021
3. ULČAR, Matej, ROBNIK ŠIKONJA, Marko. Cross-lingual alignments of ELMo contextual embeddings. Neural computing & applications. 2022, pp. 1-19
4. ŠKVORC, Tadej, GANTAR, Polona, ROBNIK ŠIKONJA, Marko. MICE: mining idioms with contextual embeddings. Knowledge-based systems. 2022, vol. 235, pp. 1-11,
5. VOUK, Boštjan, GUID, Matej, ROBNIK ŠIKONJA, Marko. Feature construction using explanations of individual predictions. Engineering applications of artificial intelligence, 2023, vol. 120, pp. 1-27