Zámek vznikl v letech 1570 až 1603. Jeho zakladatelem byl Václav Voračický z Paběnic. V současné době je zámek veřejnosti nepřístupný.
Nejstarší předchůdce dnešního zámku vznikl brzy po roce 1548, kdy
Vožici získali Voračičtí z Paběnic a usídlili se zde. Roku 1678 získal vožický zámek
František Ferdinand, říšský hrabě z Khuenburgu,
císařský komorník a kanovník v Salcburku a Pasově, později arcibiskup pražský. Je pravděpodobné, že měl zájem na zhodnocení sídla, které bylo zřejmě jeho nejreprezentativnějším majetkem v Čechách. Do přelomu 17. a 18. století je kladena
barokní přestavba, jejíž autorem mohl být G. B. Perti. Vrcholně barokní přestavba pak probíhala zřejmě před výstavbou kostela v roce 1764.
Další doložené
úpravy zámku pocházejí z let
1813-24. V 19. století bylo v důsledku zanedbané údržby nutné přestavět hlavní sál a s ním i průčelí středu předního křídla. Další oprava následovala v letech 1934-1944. Za komunistického režimu byl zámek roku
1947 zkonfiskován a v historických interiérech se usídlil
podnik KOH-I-NOOR. Větší část zahrady (její užitkovou část) získalo město. Během továrního provozu v zámku došlo k mnoha adaptacím, které byly provedeny necitlivě a spolu s vlivem technologie poškodily konstrukce, zvláště pak stropy.
Zkáza zámku, kterou započali komunisté, pokračovala ještě několik let po revoluci. Na počátku devadesátých let zmizel veškerý inventář, který tam ještě zbyl a stavba
často měnila své majitele. V současné době je zámek soukromých rukou a
není veřejnosti přístupný.