Istoriniuose šaltiniuose pirmosios žinios apie Norviliškes aptinkamos šešiolikto amžiaus pabaigoje. Palivarkas, vėliau vienuolynas, statytas ant kalvos, dominuojančios aplinkinių lygumų ir miškų fone. Pirmasis rūmų savininkas, statytojas Vaitiekus Šorcas, kilęs iš Rytprūsių, ilgainiui kartu su žmona Dorota Zienovičiūtė įsigijo nemažai valdų Ašmenos paviete. Ankstyva Vaitiekaus mirtis (1608 m.) neleido galutinai įgyvendinti gynybinio palivarko architektūros sumanymo. Po vyro mirties Dorota Šorcienė, norėdama, kad plistų katalikų tikėjimas, iš Vilniaus pasikvietė mažuosius brolius pranciškonus ir 1617 m. fundaciniu aktu jiems užrašė Norviliškių palivarką.

Po 1831─1832 m. sukilimo, kai caro valdžia, įtarinėdama kiekvieną dalyvavus sukilime ir vykdydama represijas, uždarinėjo katalikų bažnyčias ir vienuolynus, nebuvo aplenktas ir Norviliškių vienuolynas. 1832 m. uždaroma ir bažnyčia, ir vienuoliai perkeliami į Naugarduką