Učenje kot modeliranje in optimizacija:
cilji učenja, različne naloge učenja, klasifikacija, regresija, ocenjevanje verjetnosti in gostote verjetnosti, rangiranje, razvrščanje, posplošitve osnovnih nalog, učenje kot optimizacija
Uspešnost učenja:
mere uspešnosti učenja za različne naloge, intervali zaupanja, strmenske in permutacijske metode, kalibracija verjetnosti
Ocene napake:
pretirana prilagoditev učnim podatkom, regularizacija, dekompozicija napake na pristranost in razpršenost, prečno preverjanje, VC dimenzija, princip najkrajše dolžine opisa
Primerjava modelov:
neobstoj zastonjskega kosila, statistični testi za primerjavo modelov
Kombiniranje modelov:
šibko učenje in principi kombiniranja metod, napake in raznolikost kombiniranih metod
Vizualizacija napovednih modelov:
aditivni modeli, razlage odločitev, vizualizacijske tehnike za nekatere kompleksne modele2222
Primeri uporabe za področje jezikovnih tehnologij in omrežij.
Learning as modeling and optimization:
learning goals, learning tasks, classification, regression, probability estimation, density estimation, ranking, clustering, generalizations of basic tasks, learning as optimization
Validation of learning:
validation measures for different tasks, confidence intervals, bootstrap and permutation approaches, probability calibration
Error estimation:
data overfitting, regularization, bias-variance error, decomposition,, cross-validation, VC dimension, minimum description length principle
Model comparison:
no free lunch theorem, statistical test for model comparison
Combining models:
weak learning and principles of ensemble learning, error and diversity in ensembles
Visualization of predictive models:
additive models, explaining decisions, visualization techniques for some complex models
Use cases from natural language processing and graph learning