Julius Jindřich si v Čechách již od třicetileté války vytvářel rozsáhlou majetkovou základnu. Mimo jiné získal statky a panství Středokluky, Ostrov, Podbořany, Zákupy, Horní Polici, Buštěhrad, Zvoleněves, Svádov. V roce 1656 zdědil i vévodství Sachsen-Lauenburg a od té doby byly Ploskovice vždy součástí  velké skupiny panství.

Hejtmanem na Ploskovicích jmenoval vévoda Matesa Rosslawa. Ten nechal roku 1673 vyhotovit pro Ploskovické panství urbář, v němž se nám dochoval stručný popis tehdejšího již zbarokizovaného zámku. Byla to kamenná rozsáhlá budova s vysokými těžkými štíty, s nestejnými silně zamřížovanými okny, s úzkým hrbolatým vydlážděným dvorem. Kuchyň s pekárnou byla v samostatné budově. Vedle ní stála sladovna, dále pivovar a sýpka, stáje a stodoly se čtyřmi mlaty. Uprostřed dvora byla krytá studna s pramenitou vodou, strážní domek a mléčný sklep. Jiný, než tento pozdní popis starého zámku se nezachoval.

V roce 1680 došlo na panství k dalšímu povstání. Tentokrát byla nespokojenost poddaných zaměřena proti hejtmanu Rosslawovi, který byl na panství proslulý krutým jednáním, ale také podezřením, že se dopouští finančních machinací. Poddaní vedení chalupníkem Jakubem Chladným z Dolních Řepčic odmítli robotovat, dokud se nezjistí, zda se nedefraudovala kontribuce. Dne 9. dubna 1680 vyslali k císaři zvláštní delegaci. Císařská dvorská kancelář nařídila vévodovi stížnost poddaných vyšetřit. Mezitím však do Ploskovic vtrhla trestní expedice generála Haranta a ihned zahájila zatýkání a vyšetřování. Podle zachovaných zpráv bylo souzeno devět poddaných, z nichž čtyři byli popraveni. V roce 1685 se vévoda přeci jen rozhodl nechat přezkoušet Rosslawovo hospodaření. Ten prchl do Litoměřic, kde požádal o azyl v dominikánském klášteře. Dominikáni odmítli vydat defraudanta k trestnímu stíhání. Rosslaw však krátce nato v klášteře zemřel.

Po smrti Julia Jindřicha nastoupil v roce 1665 jeho syn Julius František, který pobýval především v Zákupech. Zemřel v roce 1689 a rozsáhlý majetek zdědily jeho dvě dcery. Anna Marie Františka získala Ploskovice, Zákupy, Svádov, Horní Polici, Buštěhrad, Míkovice a Zvoleněves, mladší dcera Sibylla Augusta Ostrov a statky na Loketsku. Anna Marie Františka se ve svých 18 letech provdala v Roudnici nad Labem za švagra císaře Leopolda I. rýnského falckrabího Filipa Viléma z Neuburgu. V roce 1693 přichází na svět jejich dcera Anna Marie Karolina. V témže roce však umírá i falckrabě Filip. Na naléhání císaře Leopolda I. se Anna Marie Františka v roce 1697 znovu provdala a to za Gastona Toskánského, druhého syna Cosima III. Medicejského. Manželství však nebylo šťastné. Anna Marie Františka vedla zprvu nákladný dvůr, který v Zákupech založil její otec, později se rozhodla vybudovat v Ploskovicích nový, přepychový zámek, který by se vyrovnal současným stavbám zahraniční šlechty. Podle líčení pamětníka dr. Hosera jej dala postavit „podle tehdy vládnoucího zdobného vkusu ve slohu napůl italském a zpola čínském a vybavit vším přepychem na ozdobných zahradách, terasách, krytých chodbách a otevřených galeriích, stříhaných plotech, sochách a grottách, vodních nádržích i vodotryscích podle Lenotrova vzoru jako malé Versailles“. Na nové zámku ji nesmírně záleželo, osobně sledovala jeho výstavbu, sama dokonce každý týden vyplácela všechny dělníky. Stavba byla prý velice nákladná, podle pověstí stála přes milion zlatých, a aby tuto okolnost utajila spálila nakonec veškeré účty, takže není doklad ani o přesné době stavby, ani o osobě architekta. Skutečně také všechny nalezené archivní doklady začínají teprve rokem 1725 a týkají se již jen dokončovacích prací, doplňků nebo oprav, které se zde v průběhu 18. století musely provádět. Podle slohových rozborů stavba vznikla mezi lety 1720-1730 a architektem byl pravděpodobně Václav Špaček, osobní stavitel A. M. F. Toskánské. Jednopatrový zámek, přibližně čtvercového půdorysu, byl vybudován na okraji terénního zlomu upraveného jako terasa a jeho hlavní osy byly orientovány do čtyř světových stran. Šířkový charakter zdůrazňovaly otevřené arkádové galerie, vycházející z přízemního vestibulu na obě strany a zalomené v dalším průběhu mírnými oblouky do podoby račích klepet. Západní rameno původně spojovalo novostavbu se starým gotickým zámkem, východní směřovalo k zahradníkovu obydlí.

Anna Marie Františka Toskánská zemřela v roce 1741 a panství zdědila její dcera z prvního manželství Anna Marie Karolina, provdaná za bavorského vévodu Ferdinanda. Po její smrti roku 1753 přešel majetek na jejího syna bavorského vévodu Klimenta Františka. Ten zemřel bez potomků v roce 1770 a jeho česká panství připadla vládnoucímu bavorskému kurfiřtu Maxmiliánu Josefovi III. z rodu Wittelsbachů. Centrála všech tzv. českých statků Wittelsbachů byla tehdy v Zákupech, na Ploskovicích sídlili jen panští úředníci. Roku 1775 došlo na panství k dalšímu povstání, tentokrát bylo zaměřeno proti tehdejšímu tyranskému vrchnímu Antonínu Mölzerovi. Povstání bylo opět krutě potlačeno. Devět vůdců povstání bylo v poutech odvezeno do Litoměřic, kde byl každý potrestán sto ranami holí. Dva z nich tuto exekuci nepřežili, ostatní byli ještě odsouzeni k jednoletému vězení. Panští úředníci byli pak přece jen vyzváni, aby zmírnili dosavadní kruté jednání s poddanými. Maxmilián Josef III. zemřel v roce 1777 rovněž bez potomků. Jeho dědicem se stal Karel August Zweibrückenský z vedlejší větve Wittelsbachů. Bylo to období hospodářského úpadku. Posledním držitelem Ploskovic tohoto rodu byl Maxmilián Josef IV. Zweibrückenský.