Auf dem Hügel von Veliuona (auch als Grab von Gediminas genannt) wurde 1291 die Burg Junigeda erbaut. Erst 1319 wurde sie die Burg von Veliuona genannt. Sie wurde ziemlich oft angegriffen und erst 1367, als sich die Kreuzritter näherten, verbrannten die Verteidiger der Burg selbst und zogen sich zurück. Die Archäologen haben auf dem Hügel eine 2 m dicke Kulturschicht mit Überresten von verbrannter Holzgebäude und Befestigungen, verbrannten menschlichen Skeletten, eisernen Armbrüsten, Überresten von Messingornamenten und Keramikschnitzeln aus dem 11.–14. Jahrhundert gefunden. Der Hügel Veliuona II ist als Hügel der Ruhe oder Hügel der Burg genannt. Nach der Schlacht bei Grunwald (1410) wurde der Bau dieses Hügels vom Großfürst von Litauen Vytautas begonnen. Seine Burg war offenbar aus Ziegeln und bot Platz für eine Besatzung von 400 Personen. Auf der Burg von Veliuona fanden Verhandlungen mit dem Deutschen Orden über Samogitia (Žemaitija) statt.