茜纱阁是个园林式的小院子，坐北朝南，三间小小的正房，当做杭天曜的起居之处，两边厢房环绕，前边一溜倒座，加起来一共有二十多间屋子。从园子里湖泊引了一带活水过来，从西北角穿过院子在东南角流出，东南角上挖了一个小小池塘，点缀了几支桃杏之树。院子中央一座玉石栏杆的小桥，西南角上有一座小巧的假山，累得太湖石，许多不知名的香草一到夏秋季节就蔓延开来，满院生香。

端姨娘、雪姨娘、纯姨娘占了东边