Het gebouw stond oorspronkelijk in de onmiddellijke nabijheid van het kasteel Philippsburg, destijds een van de belangrijkste en grootste barokgebouwen aan de Rijn. In 1801 werd het paleis Philippsburg door de Fransen verwoest, maar het kloostergebouw bleef behouden. In het wereldlijke bestuursgebouw van de keurvorst van Trier was onder andere het kiesgerecht ondergebracht. Ondertussen deed het gebouw ook dienst als residentie, troepenverblijf, militair hospitaal, zetel van de Nassause regering en opslagplaats voor proviand. In 1936 werd het dicasteriale gebouw omgebouwd tot kantoren. Het werd gedeeltelijk verwoest tijdens de Tweede Wereldoorlog en herbouwd in 1947.