Birštono piliakalnis (Vytauto kalnas) yra prie pat Nemuno, ties staigiu jo posūkiu rytų link. Jo šlaitai statūs, aikštelė ovali, apie 70 m ilgio, 35 m pločio. Šiaurės vakarinė jos dalis suardyta. Piliakaknio papėdėje yra senovės gyvenvietės liekanų. Rasta lipdytinės grublėtosios ir žiestosios keramikos. Ant daugiau nei 30 m aukščio stačiašlaičio piliakalnio turėjusio apie 2500 m2 aikštelę ir apie 80 m2 terasą, XIV a. pabaigoje stūksojo tvirta, sunkiai paimama medinė Birštono pilis, vienaamžė su pirmąja Punios pilimi. Ją supo gilios, šaltiniuotos raguvos, klampi šaltiniuota pelkė, pylimas ir įtvirtintas papilys. Netoli pilies buvo didžiojo kunigaikščio dvaras. Vytauto laikais Birštonas buvo strategiškai svarbi valstybės vieta. Medinė pilis, ne kartą buvo pulta kryžiuočių. Pilyje lankydavosi kunigaikščiai ir kiti didikai, atvykdavę į medžiokles, kartais pilis buvo prieglobsčiu nuo karų ir neramumų besislapstantiems. Birštono pilyje 1473 m. gyvenęs karalius Kazimieras Jogailaitis su šeima, slėpėsi nuo šalyje siautėjusios maro epidemijos. Pilis netekusi gynybinės reikšmės bei nunykusi iki XVII a. Nuo Vytauto kalno atsiveria puiki Nemuno slėnio ir Birštono panorama.