回中原，再加上这年辽东瘟疫横行，士兵们病死者不计其数，军心不稳，宇文述深知这一仗其实已经没有必要再打下去了。

从六月到八月，从辽东陆续撤回关内的士兵有二十几万，而逃走的士兵则不下十五万。尤其是杨广下令进攻给高元施压之后，士兵们没人愿意深入辽东瘟疫横行之地，于是大规模的叛逃开始出现，莫说士兵，便是许多六品五品的将领也加入逃亡的队伍，再也不肯在辽东多呆一天。过了八月，百万大军只剩下不足一半人