Barokní areál bývalého kláštera piaristů vznikl na pravém břehu řeky Bystřice jihozápadně od města. Areál byl budován postupně. S jeho výstavbou začal Julius Jindřich, pozdější vévoda Sasko-Lauenburský, který do Čech přišel krátce před začátkem Třicetileté války a záhy se stal důstojníkem císařské armády.

Na severozápadě Čech postupně získal několik panství jako Toužim či Ostrov v roce 1623. Po sňatku s ovdovělou Annou Magdalenou z Kolovrat, rozenou z Lobkovic, získal panství Zákupy. Spolu se svou již třetí chotí v pořadí se zasloužil o zvelebení města Ostrova a zdejšího zámku. Nedaleko města nechal pro sebe a své blízké zřídit raně barokní pohřební kapli sv. Anny, vedle které zásluhou Anny Magdaleny vyrostl kostel Zvěstování Panny Marie s přilehlou kolejí řádu piaristů, kteří ve městě působili až do roku 1876. 

Další významná stavební aktivita je spjata se Sibyllou Augustou, markraběnkou Baden-Badenskou, vnučkou Julia Jindřicha. Tato zbožná katolička nechala v areálu zřídit hned dvě barokní kaple. První z nich, kapli sv. Floriána, zbudovala po požáru zámku. Druhou pak po své návštěvě  švýcarského poutního místa Einsiedeln, která je kopií tamní kaple. Stejnou kapli po svém odchodu z Ostrova zbudovala také v Rastattu.