Nuo Punios piliakalnio atsiveria viena gražiausių šalies panoramų: plati Nemuno juosta, Punios šilas. Piliakalnį išgarsino nuo seno gyvas padavimas, kad čia, apgultuose Pilėnuose nelygioje kovoje su kryžiuočiais narsiai gynėsi ir tragiškai žuvo visi pilies gynėjai kartu su kunigaikščiu Margiriu. Prie piliakalnio pastatytas akmuo su iškaltomis Maironio eilėmis apie legendinį kunigaikštį Margirį: „Tai kapas Margio milžinų!“ Archeologai nustatė, kad XIII-XIV a. ant piliakalnio stovėjo vėliau sudeginta pilis. XV a. jos vietoje pastatyta nauja pilis, kuri XVI a. vėl sudegė. To paties amžiaus pabaigoje čia pastatyti nauji dideli rūmai. Piliakalnis datuojamas XIV a. pabaiga – XV a. pradžia. Nustatyta, kad piliakalnio vietoje buvo gyvenama jau akmens amžiuje, gyvenvietė čia buvo ir I tūkst. pr. Kr. (rasta lygios keramikos). Pylimas supiltas per 3 kartus. Pirmasis pylimas buvo 20 m pločio ir tik 2 m aukščio, suplūktas iš molio su šlyno priemaiša. Jo plokščiame viršuje stovėjo ąžuolinis gynybinis statinys, kuris sudegė per gaisrą. Po jo pylimas paaukštintas iki 3,5 m supilant smėlio–molio sluoksnius, ant jo vėl pastatyta medinė gynybinė siena, kuri taip pat sudegė. Trečiame pylimo rekonstrukcijos etape jis paaukštintas dar per 1,7 m užpilant molio sluoksnį, kurį tvirtino taisyklingais keturkampiais sudėti ąžuoliniai tašai. Pylimo gale šią konstrukciją dar tvirtino ir vertikaliai sukasti stulpai. Aikštelėje stovėta medinių pastatų, aptiktos sudegusios jų liekanos. Rasta žiestos keramikos, geležinis pentinas. Daugumą radinių sudaro dvaro laikotarpio statybinės bei interjero detalės, buityje naudoti dirbiniai. Tarpukariu iki 1938 m. ant piliakalnio stovėjo kelios ūkininkų sodybos, aikštelė buvo ariama.