霍光走后，刘询就开始削减霍家的势力，去霍成君处越来越少，直到最后绝迹于椒房殿。

霍光死后的第二年，刘询准备妥当一切后，发动了雷霆攻势，开始详查许平君死因，医婆单衍招供出与霍氏合谋，毒杀了许皇后。霍禹、霍山、霍云被逼无奈，企图反击，事败后，被刘询以谋反罪打入天牢，霍氏一族其他人等也都获罪伏诛。霍成君被夺去后位，贬入冷宫。当年权势遮天、门客遍及朝野的霍家，转眼间，就只剩了霍成君一人。