Iš pradžių pilis vadinosi Panemunės vardu pagal dvarą, kurio žemėse pastatyta. Vėliau ją perėmus Gelgaudams, ji vadinta Gelgaudų pilimi. Po 1831 m. sukilimo pasikeitus savininkams prigijo Zamkaus vardas. XX a. pradžioje netoliese įsikūrus Vytėnų kaimui, pradėta vadinti Vytėnų pilimi. Šiuo metu vėl vadinama pirminiu savo vardu.
