A pálos rend az egyetlen magyar alapítású férfi szerzetes remete rend. Boldog Özséb, esztergomi kanonok és a veszprémi egyházmegyéből több perjel és remete IV. Orbán pápához fordult, hogy engedélyezze részükre az ágostonos regulát. 1263-ban a pápa megbízta Pál veszprémi püspököt, hogy ha a remeték anyagi ellátását biztosnak találja, engedélyezze számukra a regula követését. Pál püspök csekélynek ítélte a rend vagyonát, így a pápától nyert felhatalmazás alapján ő maga adott szabályokat a közösség számára, és elrendelte, hogy csak a meglevő és megnevezett hét remeteségben lakhatnak az általa adott szabályok szerint.

A vázsonyi kolostort és a templomot Kinizsi Pál a győztes kenyérmezei csata zsákmányából építtette az 1480-as évek közepén, és a pálos szerzetesrend tagjait telepítette le e helyre. A Szent Mihály-dombon álló kolostor még romjaiban is árulkodik egykori szépségéről. Az épület maradványai mutatják, hogy milyen hatalmas és impozáns lehetett: a főpárkány magassága 17 méter. Temploma nagyméretű, 31 m hosszú, szentélye 8 m, hajója 9,5 m széles, egyhajós, sokszögzáródású szentéllyel. Egykor pompás, gótikus hálóboltozat fedte. A szentély végfala teljes magasságában megmaradt, a templom hajójának csak az alapfalai maradtak. A templom északi oldalához épült hozzá a Szent Mihály tiszteletére felszentelt kolostor, amelyhez gazdasági épületek is tartoztak.
A szentélyben volt elhelyezve Kinizsi Pál szarkofágja, a hajóban pedig Horváth Márké, most mindkettő a várban található.
Az 1543-ban elnéptelenedett kolostor sorsát megpecsételte Veszprém várának török kézre kerülése. 1552 után a többi környékbeli kolostorral együtt fölrobbantották, nehogy a törökök erődítménnyé alakítsák, s ezzel fenyegethessék a közeli vázsonyi végvárat. Köveit részben a vázsonyi vár XVI-XVII. századi építkezéseihez, részben a XVIII. századi falu házainak építkezéseihez hordták el. A falutól viszonylag távol eső templom helyreállítását plébániatemplom céljára nem találták alkalmasnak, helyette a település központjában épült barokk plébániatemplom. A kolostor romjainak állagmegóvására, kisebb kiegészítésekre 1960-ban került sor.

A kolostor rövid fennállása alatt is beírta nevét a magyar kultúra történetébe, mivel több kódex is készült itt, köztük a Czech-, a Festetics- és a Peer-kódex.