臺南枋橋頭的吳家，自吳春貴承販臺鹽致富，而後其子吳尚新繼承家業，於徙建洲南場後，承銷食鹽業務大為發展，家境日隆。清道光初，吳尚新乃將其宅第北邊原屬荷治時期荷蘭通事何斌的庭園舊址加以收購，沿著地勢高低建構庭園，並聘名匠仿照漳州城外飛來峰的形勢，佈置假山、池臺水閣、奇花異木，極盡美觀，名為「吳園」，俗稱「樓仔內」，與板橋「林家花園」、新竹「北郭園」、霧峰「萊園」等號稱臺灣四大名園。

因當時吳家的財富為府城之冠，庭園的美輪美奐，亦堪稱甲於全臺，所以臺南有句俚諺說：「有樓仔內有的富，也無樓仔內的厝；有樓仔內有的厝，也無樓仔內的富」；連雅堂於＜臺南古蹟志＞亦言：「枋橋吳氏，為府治巨室，園亭之勝甲全臺，而飛來峰尤最。」可知吳家當時的財富與宅第庭園構築的精雅一般。

創建至今達170餘年的吳園，如今侷促臺南市區一隅，僅餘「仿飛來」假山、水池、池畔閩南平房一排九間、捲棚歇山頂四角涼亭與六腳攢間涼亭各一座、石砌廊道和一畔庭園。雖大部分建築房舍外觀大異從前，但假山、水池和四角涼亭（作勵軒）尚維持一定型制，就整體而言，尚保有部份的傳統園林風格。