建文元年八月，受西平侯沐晟控告而被罢免为庶人，改居漳州。

朱棣登基复王爵，结果不尊王法，“擅收诸司印信，杀戮吏民”，被朱棣再次罢免。

过段时间朱棣又为他复爵，希望他能改变。

但是其习性不改，于永乐六年第三次被罢免，削去护卫。

洪熙元年，被移居武冈，住在州府的公寓中。很久以后，才允重建自己的王府。