A legenda szerint a templomot Mátyás király alapította, amikor 1465-ben országgyűlést tartott a templom kertjében és a ferenceseknek adta palástját, melyből később miseruha lett erre vonatkozóan azonban nincsenek bizonyítékok. Ami biztos, hogy a gótikus templom elődje a késő-román stílusú Szent Péter Árpád-kori ispotálytemplom, melynek teljes újjáépítésével kezdődik a ferences kolostor története. 1444-ben Cesarini Julian pápai legátus a ferences rend szigorúbb (obszerváns) ágát Alsóvárosra telepítette, hogy megvédjék a katolikus hitet a huszitizmussal szemben. A templom építését az a János testvér irányította, aki a ferencesek építőműhelyének élén az alsóvárosival rokon kolozsvári és nyírbátori késő gótikus templomokat is alkotta és aki valószínűleg az első, névvel ismert magyar építész. A templomot 1480 táján kezdték építeni. A munkát a templomhajóval és a kolostor két szárnyával kezdték. A hajóhoz utólag csatlakoztatták a szentélyt, mely egyben a szerzetesi kórus is. Ezért eltérő a hajó és a szentély csillag- és hálóboltozata. A Szent Péter templom román kori faragott köveit beépítették a szentély falába és az első emeletig fölhúzott toronyba. A templomot 1503-ban fejezték be, melynek emlékét két kőtábla őrzi. A templom szentelése 1509. augusztus 5-én történt Havas Boldogasszony tiszteletére, de a tornyot és a kolostorépületet csak az 1713–1783 közötti építkezés során fejezték be, a toronysisak 1827-ben lett kész. A kolostort az 1950-es években elvették az egyháztól és szociális otthonként hasznosították, a rendszerváltás után kapta vissza a ferences rend. Az elhanyagolt épületet, a templommal együtt, uniós forrásokból 2012-re újították fel, ekkor nyílt meg a látogatóközpont is.