乾元三年十月十四日夜，翠微宫一宫女因不堪主子责骂而触柱自杀，死后冤魂作祟，致柔妃随身嬷嬷胡氏死，柔妃莫名失去听力，百治不愈，终身成残，自此宫中惶惶不安人心浮动，太后特命在护国寺作三日夜法事超度亡魂，三月后，帝命柔妃迁宫另居，封闭翠微宫。

乾元三年十月十五，文昌长公主自请离宫带发修行，素衣简从，轻车驱驰，只带着少许护卫和数个宫女，静默无声的进入上林别苑内，松柏绿树掩映间古朴庄重的皇