Posledních pět let Clifford vedl Charlotte Hornets, jednalo se o jeho první angažmá. Celek ze Severní Karolíny nejprve dokázal oživit, ale po druhé sezoně za sebou bez účasti v play off u týmu skončil.
Šestapadesátiletý Clifford strávil v Orlandu do roku 2012 pět sezon jako asistent kouče Stana Van Gundyho. Na bázi asistenta už dříve pracoval i v New York Knicks, Los Angeles Lakers a Houston Rockets.
Clifford se podílel na jednom z nejúspěšnějších období Magic včetně postupu do finále NBA v roce 2009.
Floridský klub během této pětiletky, kdy v jeho dresu zářil pivot Dwight Howard, nechyběl ani jednou v play off. Naopak po odchodu Van Gundyho a Clifforda se Magic do vyřazovací fáze ani jednou nepodívali.
Ve staronovém působišti se Clifford stal nástupcem Franka Vogela, který za dvě sezony dovedl tým Magic jen k 54 výhrám ze 164 zápasů.