První zmínka o obranných zdech pochází z roku 1480. Badatelé datují zachované fragmenty do počátku 15. století, ale možná první fragmenty začaly vznikat až v polovině 14. století. Pravděpodobně bylo město dříve obehnáno zemním opevněním a suchým příkopem. Další ochranou byl strmý svah řeky Bóbr tekoucí ze severu a Kamienna ze západu. Kamenné zdi byly asi 7-8 metrů vysoké a téměř 1,5 metru silné v koruně. Byly zakončeny cimbuřím, které chránilo chodník pro stráže. Do obvodu městského opevnění bylo v rozestupech 20-30 m začleněno více než 30 válcových věží, otevřených ze strany města. Vyčnívaly přes stěnu a poskytovaly boční palbu. Byly zakončeny cimbuřím a o 3 metry vyšší než hradby. Později byly věže zastřešeny a některé byly ze strany města uzavřeny.

Hirschberg 1747

Do Jelení Hory vedly tři brány. Ze západu Hradní brána, z východu Wojanówská brána a z jihu Dlouhá brána. Měly podobu budovy s bránou chráněnou vedle stojící věží. Vstup bránily spuštěné brány a padací most. Později byly brány vyztuženy barbakánem. O obranných kvalitách jelenohorského opevnění svědčí fakt, že město odolalo v roce 1427 husitům.

Rozvoj palných zbraní si vynutil modernizaci městského opevnění. Na počátku 16. století byl postaven druhý obvod hradeb. Vzdálenost od předchozího asi 5-7 m, byla jen 2,5 m vysoká a asi 0,6 m silná. Předcházel jí příkop přes 5 m hluboký a 13-16 m široký. Ve vnější zdi je před jejím čelem vysunuto 9 bašt uzpůsobených k použití palných zbraní.

Vypuknutí třicetileté války (1618-48) znamenalo zahájení prací na opravě městského opevnění a vybudování dalších zemních valů, palisád a příkopů. Jelenia Góra byla několikrát obléhána a ostřelována dělostřelectvem, což způsobilo četné škody. Ve druhé polovině 17. století a v první polovině 18. století bylo městské opevnění stále obnovováno a udržováno v pořádku. V roce 1742 připadly Jelenia Góra a Slezsko v důsledku slezských válek k hranicím Pruska. V té době začal význam městského opevnění upadat. K nim byly přidány další průchody ve zdech a budovách. Věže a bašty byly přestavěny a prodány soukromým osobám. V roce 1759 bylo v soukromých rukou až 16 městských věží. Na konci 18. století docházelo k systematickým demolicím.

Paradoxně skutečnost, že některé věže byly v soukromých rukou, znamenalo, že se dochovaly až do našich dob. Můžete vidět věž Wonajowské brány. Původní se zřítil v roce 1480, ale byl rychle přestavěn, získal hodiny a kupoli a v tomto stavu přežil dodnes. Věž byla postavena na kruhovém půdorysu o průměru 7,2 m. Tloušťka jeho stěn v přízemí je téměř 2,5 ma 1,5 m v patrech. V současnosti je vysoká 34 m. Zakrývá ji také protáhlá bašta, v níž je dnes kaple sv. Anna. Brána vedle ní je barokní stavbou, původní byla v roce 1755 zbořena.

Do našich dob se dochovala i věž hradní brány. Původní se zřítil v roce 1550 při opravě po požáru. Přestavěn v roce 1584, za svou dnešní podobu vděčí přestavbě z 19. století, kdy byl přeměněn na vyhlídku. Byl postaven na kruhovém půdorysu o průměru 7,5 m a má pět podlaží. Na třetím a čtvrtém jsou střílny.

Pozůstatkem městských hradeb je také věž Grodzka, stojící v ulici Grodzka. Od 18. století sloužila jako obytná místnost s přístavbou. Velké fragmenty severní části městských hradeb byly integrovány do budov v ulici Jelenia.