法務部矯正署臺南第二監獄奉行政院核定於104年7月16日正式成立，經法務部矯正署核定容額為1100名。

國防部臺南監獄（以下簡稱臺南軍監）前身為位於臺東縣之「國防部泰源感訓監獄」，原於民國51年成立，民國59年02月08日，當時獄中之臺灣獨立運動政治犯（鄭金河、陳良、詹天增、鄭正成、謝東榮、江炳興等人）與駐守該監獄衛兵和當地原住民共謀劫獄、搶佔廣播電台，試圖進行臺灣獨立政治活動，隨即被國軍、警察及原住民聯合鎮壓，稱為「泰源事件」。泰源事件後不久，所有政治犯，都在海陸空嚴密監視下被移拘到綠島綠洲山莊關押，另有多人被判死刑及無期徒刑，並於民國62年改名為「國防部泰源監獄」，民國63年遷至臺南市北區實踐街，更名為「國防部臺南監獄」（簡稱臺南軍監，別名日新山莊），民國69再遷至臺南縣六甲鄉（今址，故又稱「六甲軍監」）。民國94年11月國防部實施「精進案」組織改革，國防部新店監獄（今法務部矯正署新店戒治所）裁撤後，其業務轉移至臺南軍監執行，至此國防部臺南監獄成為當時我國唯一的軍事監獄。臺南軍監（日新山莊）位於臺南市六甲區曾文街，鄰近六甲市區及國道 3 號官田交流道，移撥面積約9.38 公頃。列管房屋24棟、建物28座及土地65 筆。除辦公廳舍、舍房、工場之外，其他重要設施包括有：崗哨、圍牆、職訓大樓、教誨堂、運動場等，使用已逾30 年，設施稍感陳舊，最大收容量為1,518名。國防部臺南監獄自103年1月17日移交矯正署。