Na klopi zmajev je Branko Elsner skupaj sedel štiri sezone, leta 1965 je klub popeljal tudi do prve jugoslovanske zvezne lige, pod njegovim vodstvom pa sta v članskem moštvu debitirala tudi Danilo Popivoda in Branko Oblak.

Elsnerju zdravstvene težave v zadnjih letih niso prizanašale. Zaradi dveh operacij hrbtenice je težko hodil, nato pa je zbolel še za Alzheimerjevo boleznijo. V njegovo čast se bo sobotna tekma 19. kola Prve lige med Olimpijo Ljubljano in Domžalami začela z minuto molka, nogometaši Olimpije pa bodo na srečanju nosili žalne trakove.