В 1887 году священник Иосиф Амбразявичюс и прихожане построили новую кирпичную церковь Св. Иосифа с двумя башнями. В одну из башен были размещены колокола. Орган привезен из старой церкви и установлен в новой церкви. На замковом кладбище была часовня кладбища. Во время Второй мировой войны церковь сгорела, а башни были снесены. В послевоенные годы церковь была отремонтирована, но с более низкими башнями. В современном интерьере церкви доминирует классическое пространство, сочетающееся с готическими традициями.