从19世纪40年代以后阿瑟港更成为了关押重犯的地方，面对越狱重犯惩戒人员会把几十公斤的铁锁永久地焊住犯人的双脚。所以这里还有精神病院，以及特重狱房等。直到1877年监狱被关闭为止，在它的“全盛”时期，这里最多驻有2000多名罪犯、士兵和家属；四十多年间，阿瑟港共关押过3万5千名囚犯，相当于当时澳洲人口的一半。1895年和1897年的两场大火席卷了整个地区，摧毁了这里所有的建筑。