V letech 1692–1693 nechala Franziska Sibylla Augusta, markraběnka bádenská, postavit kapli sv. Floriana. Podnětem ke stavbě kaple byl první velký požár ostrovského zámku v roce 1691. Kaple je poděkováním markraběnky tomuto světci sv. Floriánovi za to, že oheň poničil zámek, ale ne město. Vzhledem k datu požáru (28. 12.  svátek neviňátek) vytvořil italský  malíř Paolo Manni v kopuli výjev z vraždění betlémských dětí.  Po roce 1793 sloužila kaple jako sýpka a skladiště, v roce 1933 byla renovována a vznikl zde památník obětem I. světové války. Po celkové rekonstrukci v roce 2007 se kaple stala památníkem obětem násilí na Ostrovsku ve 20. století. V kapli najdeme sochu Zaváté šlépěje a Křížovou cestu akademického sochaře Jaroslava Šlezingera, vězně komunistických lágrů na Jáchymovsku. Do malých reliéfů utrpení Ježíše Krista Šlezinger vtělil i sám sebe.