In historischen Quellen finden sich die ersten Informationen über Norviliškės am Ende des 16. Jahrhunderts. Das Vorwerk, später ein auf einem Hügel erbautes Kloster, dominierende Ebenen und Wälder im dem Hintergrund. Der erste Besitzer des Palastes, der aus Ostpreußen stammende Baumeister Vaitiekus Šorcas, erwarb schließlich zusammen mit seiner Frau Dorota Zienovičiūtė eine Reihe von Ländereien in Ašmena. Der frühe Tod von Vaitiekus (1608) ermöglichte nicht die endgültige Umsetzung der architektonischen Idee des Verteidigungsgutes. Nach dem Tod ihres Mannes lud Dorota Šorcienė 1617 die kleinen Franziskanerbrüder aus Vilnius ein, um den katholischen Glauben zu verbreiten. Sie hat ihnen das Vorwerk von Norviliškės als Erbe gelassen.

Nach der Revolte 1831-1832, als die zaristische Regierung die katholischen Kirchen und Klöster wegen des Verdachts der Teilnahme an der Revolte schloss und Repressionen durchführte, wurde auch das Kloster von Norviliškės nicht umgangen. 1832 wurde die Kirche geschlossen und die Mönche wurden nach Nowgorod versetzt.