Kaimas įsikūręs tarp Gaujos upės intako Berželio ir šiaurinėje pusėje esančios aukštumos. Istorijos šaltiniuose minima, kad jau 1385 m. Dieveniškių vardą mini Kryžiuočių ordino žvalgai, čia jau buvęs dvaras - aplinkinių teritorijų feodalinis centras, neginčijama, kad ir Žižmų kaimas įėjęs į dvaro valdas. Seniausiame žinomame Žižmus mininčiame istoriniame 1737 m. dokumente nurodoma, kad kaime gyveno 7 šeimos. Sodybų gerokai padaugėjo XVIII a. antroje pusėje (1775 m. jų jau 13). XIX a. viduryje, prieš panaikinant baudžiavą, kaimavietė jau buvo visiškai susiformavusi. Nuo pat kaimo paminėjimo istoriniuose šaltiniuose XVIII a. pradžios iki šiol minima Šilabritų pavardė. Prieš Antrąjį pasaulinį karą kaime veikė „Ryto“ draugijos globojama privati 4 klasių pradžios mokykla, Šv. Kazimiero draugijos skyrius, buvo lietuviška skaitykla.