Vedle zámku se nachází Palác princů, původně Bádenský zámek vystaven na konci 17. století. Dnes je sídlem městské knihovny. V dětském oddělení Vám pracovnice knihovny ukážou stropní fresku bohyně lovu Diany právě z doby výstavby Bádenského zámku, kdy ho vlastnili sasko-lauenburští, a která byla odkryta při rekonstrukci budovy v roce 2012. V této části zámku byla kdysi vybudována luxusní koupelna zvaná Dianina lázeň. Koupelnu v tomto pojetí i velikosti měly v tu dobu jen ta nejhonosnější sídla v Evropě. S nadsázkou lze říci, že kdo v té době v českých zemích a Evropě něco znamenal, toužil dostat pozvání právě na ostrovský zámek a jeho přilehlé zahrady.

Součástí budovy knihovny je i Oranžerie Václava Havla – místo s překrásným výhledem do parku, kde se konají koncerty a besedy.