Na místě zámku stála původně pevnost jako opěrný bod, stráž na moravsko-uherské hranici. Odtud vzniklo i pojmenování pozdějšího města Strážnice. Ve 14. století se připomínají první vlastníci - pánové z Kravař, kteří kolem roku 1450 provádějí první přestavbu a budují západní křídlo. V roce 1501 kupují panství Žerotínové, za nichž dosáhlo v 16. století největšího rozkvětu a zámek doznal další přestavby - bylo přistavěno východní křídlo a spojovací severní zdobené renesančními arkádami. V době tureckého nebezpečí, ve druhé pol. 16. století byl majitel panství Jan III. ze Žerotína jmenován hlavním vojenským velitelem Moravy a podle nařízení opevňoval pohraniční města. Tehdy bylo dobudováno opevnění Strážnice. Stará strážní věž byla důkladně přestavěna a zvýšena. Celé město bylo obehnáno valem a vodním příkopem.

Největší péče byla věnována zabezpečení příchodů do města na hlavní cestě od Skalice do Veselí. Byly zbudovány dvě brány s věžemi a bočními baštami. Brány dostaly jméno „Veselská“ a „Skalická“. Jejich pojmenování přetrvalo dodnes. Z obou bran se zachovaly pouze boční bašty.

Strážnické brány - v době tureckého nebezpečí, ve druhé pol. 16. století byl majitel panství Jan III. ze Žerotína jmenován hlavním vojenským velitelem Moravy a podle nařízení opevňoval pohraniční města. Tehdy bylo dobudováno opevnění Strážnice.

V době pobělohorské získávají panství zpustošené po předchozím válečném období Magnisové. František Antonín Magnis počátkem 19. století vysazuje zámecký park, buduje skleníky a připravuje další přestavbu zámku. V polovině 19 století dochází k poslední stavební úpravě do podoby novorenesanční s klasickými prvky, v níž se zámek dochoval do dnešních dnů.

Přestavbu opevnění a obou bran provedl Bedřich Schnirch.