里会愿意让出这些地方，王源和他们商议时只有很少的人愿意主动搬走，大部分都是态度强横。但再强横，也强横不过王源。一旦王源得知他们不愿让出，便采用强力手段直接动手。这些皇族皇亲们一个个愤怒不已却毫无办法，于是纷纷去往散花楼处跟玄宗告状。散花楼中很快便聚集了几十名皇亲官员，这些人声泪俱下的控诉王源的强横无礼，控诉他横行无忌，不把皇族放在眼里。

玄宗很是无奈，一方面他觉得王源的行为是为了安顿难民