蔡京被罢相后，担任太乙宫使，闲居府邸，只在初一、十五两日，进宫上朝。因郑居中等人更进一步进本奏请，徽宗皇帝再贬蔡京为太子少保，不允许他在京中居住，将他安置在杭州黜居。

蔡京离开京畿重地，远离朝廷权力中心，一时安闲了下来，或潜心研究书画艺术，或云游四方，观山玩水，或通过前来拜访他的亲信了解朝廷动态，琢磨着如何再起，重回朝廷。