Čtyřiačtyřicetiletý Brown trénoval poprvé Cleveland v letech 2005-2010. V roce 2007 dovedl tým kolem hvězdného LeBrona Jamese do finále NBA a v roce 2009 byl vyhlášen nejlepším koučem ligy.
Po skončení následující sezony byl Brown propuštěn, což později majitel klubu Dan Gilbert označil za chybu. Před loňským návratem do Clevelandu trénoval Brown slavné Los Angeles Lakers, nicméně po jedné sezoně a pěti duelech následujícího ročníku byl na podzim 2012 vyhozen.
Comeback ke Cavaliers se mu nevydařil, v minulé sezoně nepostoupil poprvé ve své trenérské kariéře play-off. Podle médií je hlavním favoritem na jeho místo Adrian Griffin, dosavadní asistent v Chicagu.