迁都之前，杨广通过杨集，以官府的名义从独孤敏手中买回了许多地段好的土地；杨广想到花的又不是自己的钱，而是国库，索性本着肥水不流外人田的心思，开出了远高市价的价钱，使独孤敏大赚一笔。

买到了土地，杨广又令让工部、将作监修建许多大小不等、精致不等的府邸，好让他赏赐王公大臣。

迁都之后，杨广便将这座恢弘华丽的府邸赐予杨素，以作杨家“总部”。整座楚国公占据劝善坊北曲一半，府内亭