Tai nacionalinės reikšmės valstybės saugomas objektas, turintis paminklo statusą. Ansambliui priklauso: Švč. Mergelės Marijos Apsilankymo mažoji bazilika (pastatyta 1780–1822 m., 1988 m. bažnyčiai suteiktas mažosios bazilikos titulas); šventoriaus tvora ir vartai (pastatyti XX a. 3-4 dešimt.); dominikonų vienuolyno namas (pastatytas 1842–1843 m.); koplytstulpis (vad. Mūro kryžius, pastatytas XIX a. vid.), Kryžiaus kelio stočių koplyčios, 19 vnt. (pastatytos 1637–1726 m.). XVII a. 4-ajame dešimtmetyje vyskupas J. Tiškevičius įsteigė pirmąjį LDK Kristaus kančios kelią (kalvarijas) su 19 koplyčių, pastatė Marijai skirtą bažnyčią ir viską pavedė vienuoliams dominikonams. Greitai susiklostė savitos kasmet liepos pirmąjį dešimtadienį vykstančių kelionių į atlaidus (vadinamus Didžiąja kalvarija) tradicijos bei Žemaičių Kalvarijos kalnų apeiginiai papročiai. Katalikiška šventovė išgarsėjo, o miesteliui prigijo Kalvarijos vardas. Dominikonai nuo 1644 m. turėjo mokyklą, kuri XIX a. pradžioje buvo pertvarkyta į gimnaziją. Dabartinė bažnyčia pradėta statyti 1780 m. ir užbaigta 1822 m. Tų metų liepos 7 d. per Didžiuosius atlaidus prie šv. Kryžiaus altoriaus Lorete buvo aukojamos pirmosios Šv. Mišios. Bažnyčia pastatyta už tikinčiųjų aukas. 1988 m. gegužės 6 d. popiežius Jonas Paulius II Švč. M. Mergelės Marijos Apsilankymo bažnyčią pakėlė į bazilikų rangą.