La fortezza che si annide sulla collina sopra la vecchia città e' stata costruita al posto di quella medioevale nel mezzo del Cinquecento, accludendo i muragli della città. Nel 1579 è stata ristabilita dopo un'esplosione della polvere nera in cui ebbe subito danni considerevoli. Durante la regola francese e' stata fatta una certa costruzione supplementare di rinforzo . La feritoia e l'alberino di osservazione sono stati sviluppati durante la regola austriaca. Oggi, la fortezza è stata ricostruita come complesso turistico moderno. Usata una volta esclusivamente poichè ha una posizione fortificata, la fortezza si è trasformata in un belvedere molto popolare fra i turisti, particolarmente entro la notte quando le forme della pietra brillante della città antica compaiono contro il cielo scuro.
Durante la regola di Napoleone nel 1811, è stata costruita un' altra fortezza sulla collina di San Niccolo'. Anche oggi la chiamano "Napoleon". È stata costruita dove l'esercito medioevale e l'alberino di osservazione navale e una piccola cappella erano una volta. Oggi è un osservatorio.
Nell'entrare del porto dalla parte sinistra, c'è il cosiddetto "batterie de gauche", chiamato secondo il Tiroleano Andreas Hofer, rivoluzionario dai tempi dell'inizio della regola austriaca, sulla cresta proiettantesi. È circondato dagli alberi del pino. Oggi, c'è un monumento all'interno di esso, eretto in 1945 che commemorando i combattenti e feriti del settimo corpo dell'ospedale militare presenta uno dei più vecchi di questo genere in Croatia.
Dalla parte sinistra del porto c'è il monastero Greco-Ortodosso della Santa Veneranda-Sveta Petka. Nel 1807 i francesi l'hanno rovinato la torretta e convertito in una piccola fortezza denominandola "batterie de droite". La torretta di chiesa del monastero che è stata tirata giù e' diventata una stazione meteorologica. Questa fortezza è stata trasformata in un teatro all' aperto nel 1953.
Sull'isola piccola di Galesnik, all'entrata del porto di Hvar, l'Austria ha costruito un magazino per armi nel 1836.