V místě piaristické koleje stával původně dům Jednoty bratrské. V roce 1634 přišli do města na popud kardinála Dietrichštejna piaristé, kteří postupně tento dům přebudovali do nynější podoby.
Při první přestavbě v letech 1637 – 1641 bylo vybudováno 18 mnišských cel a jedna temná. V roce 1673 byla postavena vedlejší školní budova, v letech 1740-1741 rozšířená o další trakt. V objektu byla škola, noviciát, knihovna, oratorium, byty řeholních kleriků i žáků.
Posláním piaristů byla vedle dobročinnosti výuka mládeže na školách všech stupňů. Největší význam měla kolej v Lipníku jako místo noviciátu, kde byli kvalifikovanými řádovými pedagogy připravováni na své působení a budoucí učitelské povolání kandidáti ze všech krajů Moravy, Slezska, Čech a z rakouských a německých zemí. V letech 1833-34 zde pobýval jako žák piaristické školy Johann Gregor Mendel, objevitel genetických zákonů. V noviciátě piaristické koleje byl i P. Josef Václav Justin Michl – známý Drašar z románu T. Novákové.
Z Lipníku nad Bečvou piaristé odešli v roce 1884. Piaristická kolej tak dodnes zachovává svoji dispozici z 18. století se dvěma nádvořími a monumentálním průčelím. Památka není z důvodu špatného technického stavu přístupná veřejnosti.