Bilionių piliakalnis (Švedkalnis) anksčiau vadintas – Šventkalniu. Vietos žmonės pasakoja: „Seniau vadinuos ne Šviedkalniu, bet Šventkalnis. Tėn onksčiau liob aukas degins. Paskou šviedie užjiemė tun kalna, unt vėršaus pėlė pasėstatė“. Dar pasakojama, kad švedų dalinys kalne buvo įsikūręs ir vietos gyventojus plėšdavęs, bet vieną vasaros naktį pranykęs. Piliakalnis priskiriamas karų su kryžiuočiais laikotarpiui. Dėl ryškiai matomų piliakalnio gynybinių įtvirtinimų liekanų (terasų) jis primena laiptuotą piramidę. Pietiniame šlaite yra gausus kultūrinis sluoksnis – rasta lipdytos keramikos gruoblėtu paviršiumi. Įžymus archeologas L. Kšivickis taip žavėjosi Bilionių piliakalniu, kad įvardijo jį vienu įdomiausių ne tik Lietuvos, bet ir viso pasaulio archeologijos paminklu. Piliakalnis pakilęs virš jūros lygio 203 m.