Devatenácté století lze jistě považovat za období značného pokroku. V jeho průběhu však došlo i k řadě nenapravitelných škod. Bouřlivým rozvojem procházely i Budějovice. Za oběť tomuto pokroku však padla i většina původního opevnění města, často navíc úplně zbytečně a ze zájmů ne vždy bohulibých a veřejně hlásaných. Toto „veliké bourání“ pokračovalo i na počátku století dvacátého, kdy byla zbourána například hradební věž Manda (1904) v blízkosti budovy Muzea nebo část opevnění u Slepého ramene, kde dnes stojí Gymnázium Česká 64 (1902).
Do dnešních dnů se nám tak zachoval pouze zlomek tzv. vnitřních hradeb a dvě větší věže, totiž Rabenštejnská v Panské ulici a Železná panna na nábřeží u Biskupské ulice.