没多久，虽然很是弹劾了几位元载党羽，可优柔寡断的代宗却始终下不来决心除去元载本人，李栖筠又是个急性子，不久真的“急死”了。

李栖筠一死，杜亚失去靠山，就在谏议大夫的位子上被晾着，后来元载垮台时，杜亚也是审讯元载队伍里的一员，又巴望着能借此升到宰执：可命运又给杜亚开了个玩笑，常衮当上了宰相而不是他，并且常衮因厌恶他，为相后不久就把他外放去当了江西观察使。

而皇帝如今又请杜亚回朝，