Mihai Zaharia se identifică și cu cea mai prolifică perioadă a Clubului Sportiv Rapid. Între 1990 și 2011 a condus secția sportivă a clubului feroviar, perioadă în care s-a reușit câștigarea a 10 trofee cu echipa de volei, 3 trofee cu echipa de handbal, printre care City Cup, și 4 titluri cu echipa masculină de polo. Cu excepția acestor titluri, Mihai Zaharia a avut meritul de a-i aduce la CS Rapid pe Marian Oprea și Gabriela Szabo.
În cariera de antrenor, el a condus-o pe Vali Ionescu Caciureac până pe poziția a doua la Jocurile Olimpice din Los Angeles, din 1984, la proba de săritură în lungime.