“集虚斋”为园主养心之所,暗喻园主向往渔樵隐居之乐的心境。斋南小天井东西两侧各植一丛慈孝竹,姿态挺秀;后院有一枝凌霄,攀援于粉墙之上,画意横生;斋为二层楼,楼上为园主子女读书处,俗称“小姐楼”,今为贵宾楼。