随园最早只不过是钱渊住所，嘉靖三十四年末徐渭、诸大绶、陶大临等绍兴、松江应试举子汇集于此，又因第二年的春闱而名声鹊起。

当时整座钱宅尚未完工，随园占地并不大，后钱家酒楼日进斗金，直到嘉靖三十六年才竣工，如今已是庭院深深，大树遮阴，兼以江南园林风格，多有精舍。

随园士子在这儿都是有固定住所的，眼看马上就要宵禁了，除了住的很近的陈有年之外，其余人都去歇息，只留下徐渭