汉宣帝深知，霍光虽然死了，但霍家的势力还很大，霍家的亲属和亲信还控制着中央政府的各个机要部门，兵权也掌握在他们手中。为此，汉宣帝首先采取行动，削夺霍家把持的权力。他先解除了霍光两女婿东宫、西宫卫尉的职务，剥夺了他们掌管的禁卫军权。又把霍光的两个侄女婿调离了中郎将和骑都尉的位置，让自己的亲信担任南北军和羽林郎的统帅。最终把兵权掌握在自己手中。之后，他提拔霍光的儿子霍禹为大司马，明升暗降，剥夺