Der festungsartige Hügel Seredžius, auch Hügel Palemonas genannt, befindet sich auf dem rechten Vorgebirge des Tals Nemunas und ist im Norden und Westen von einem tiefen Bach Pieštė umgeben. Im 13.–14. Jahrhundert stand hier die Burg Pieštė, die nicht nur die Verteidigung der Nemunas, sondern auch des Unterlaufs der Dubysa gewährleisten musste. Die Burg Pieštė hielt den Angriffen des Deutschen Ordens lange Zeit stand, da sie an einem geeigneten Ort zur Verteidigung gebaut wurde. Die Burg wurde erstmals 1293 erwähnt. Die Kreuzrittern griffen sie wiederholt an und verbrannten sie. 1363 umzingelten die Kreuzfahrer die Burg, aber ihre Verteidiger konnten im Schutz der nächtlichen Dunkelheit fliehen. Eine leere Burg wurde niedergebrannt.