Piaristický klášter nechal postavit biskup Karel II. z Lichtenštejna v roce 1694, který pak předal roku 1700 mnichům k jejich potřebám. Celý projekt budovy navrhl kroměřížský řádový architekt Giovanni Pietro Tencalla. Budova je barokního stylu, tříkřídlová a jednopatrová. Dispozice všech křídel je řešena jako příčný dvoutakt. Stavební práce však pokračovaly po celou dobu. Zajímavá etapa nastala roku 1768, kdy byla přistavena chodba, která spojovala budovu piaristického kláštera s řádovým kostelem. Tento projekt byl navržen podle piaristy P. Heliodora Knura. Na konci 19. století však byla chodba opět zbourána.
Od 90. let 20. století probíhala celková rekonstrukce piaristického kláštera, která trvala celých 20 let. Při opravách byla odkryta původní barokní iluzivní výmalba a původní oblázková dlažba z kamenů řeky Lubiny, která protéká městem Příbor. Bývalá piaristická kolej se však může také pyšnit klášterními klenbami s velkými koutovými lunetami v místnostech. Nově zrekonstruované místnosti v západním křídle budovy nyní slouží ke společenským akcím, ke svatebním obřadům, koncertům a přednáškám. Piaristický klášter byl vyhlášen nemovitou kulturní památkou.