Tvirtovės tipo Seredžiaus piliakalnis, vadinamas Palemono kalnu, yra dešiniajame Nemuno slėnio iškyšulyje, iš šiaurės ir vakarų juosiamame gilaus Pieštvės upelio. XIII–XIV a. čia stovėjo Pieštvės pilis, turėjusi užtikrinti ne tik Nemuno, bet ir Dubysos žemupio gynybą. Pieštvės pilis ilgai atlaikė Kryžiuočių ordino puolimus, nes buvo įrengta patogioje gynybai vietoje. Pirmą kartą pilis minima 1293 m. Kryžiuočiai ne kartą ją puolė ir degino. 1363 m. kryžiuočiai apsupo pilį, tačiau jos gynėjams pavyko ištrūkti prisidengus nakties tamsa. Tuščia pilis buvo sudeginta.