Pozvánka na prednášku 21.10.2015

Vážení kolegovia,

pozývame Vás na prednášku bývalého študenta odboru EFM:

Jakub Konečný (University of Edinburgh):

Semi-Stochastic Gradient Descent and Massively Distributed Optimization,

ktorá sa uskutoční v stredu 21.10.2015 o 13.00 v posluchárni C na FMFI UK.

Na záver seminára Jakub porozpráva pár slov o Edinburghu a o tamojšom PhD
štúdiu - a rád odpovie na otázky.

Abstrakt prednášky:
V tomto talku uvediem koncept Empirical Risk Minimization, ktorý motivuje štruktúru mnohých problémov existujúcich v Machine Learningu, t.j. minimalizovať funkciu, ktorú vieme reprezentovať ako priemer veľkého množstva (n) iných funkcií. Predstavím nový algoritmus, S2GD (Semi-Stochastic Gradient Descent), ktorý v každej z niekoľkých epôch spočíta gradient celej funkcie, a veľký počet stochastických gradientov. Celková práca, ktorú algoritmus potrebuje na vrátenie ε-presného riešenia je ekvivalentná spočítaniu celého gradientu O((n/κ)log(1/ε))-krát, kde κ je condition number.
V duhej časti budem rozprávať o distribuovanom prostredí, v ktorom žiaden počítač nemá kapacitu na to, aby pracoval s celou funkciou osamote. V takom prostredí je často komunikácia medzi počítačmi, typicky v rámci datacentra, časovo náročnejšia ako samotné výpočty. Predstavím projekt mojej letnej stáže v Google, Massively Distributed Optimization, ktorý poukazuje na praktickú potrebu vytvorenia nových algoritmov, ktoré budú flexibilné a výpočtovo použiteľné v inom prostredí ako v datacentrách, napríklad na mobilných zariadeniach používateľov. Zároveň poukážem na prirodzené rozšírenie S2GD do distribuovaného prostredia, ktorý ponúka takúto flexibilitu.

Tešíme sa na Vašu účasť,

organizátori