O 2º Conde da Ega, Aires José Maria de Saldanha, enviuvando em 1795, casou em segundas núpcias com D. Juliana Maria Luísa Carolina Sofia de Oyenhausen e Almeida, filha da notável Marquesa de Alorna.
Entre 1807 e 1808 o conde, recentemente regressado de Espanha onde fora ministro plenipotenciário, recebe de forma entusiástica os franceses e chega mesmo a tomar parte activa na nova admnistração liderada por Junot. O seu palácio, conhecido por da Ega ou Saldanha e onde estão hoje instalados os Arquivos Históricos Ultramarinos, sofre obras de embelezamento da fachada e interiores, sendo o cenário para grandes festas em honra dos novos governantes.
Junot era frequentador assíduo e encantado pela formosura de D. Juliana fez dela a sua amante oficial enquanto esteve em Portugal. Mas o idílio só dura até à convenção de Sintra, altura em que o casal se vê obrigado a fugir para França acompanhando os seus protectores, de Napoleão recebem uma pensão de 60.000 francos anuais, que gozam até à sua queda em 1814.
Em 1811, um tribunal condena os portugueses que estavam em França à morte, sentença que nunca seria aplicada e em 1823 outro tribunal anula estas sentenças permitindo o seu regresso a Portugal. O Conde opta por se manter afastado da cena política e vem a falecer em 1827. D. Juliana casa novamente com o Conde de Strogonoff, um russo e falece em S. Petersburgo no ano de 1864.
O palácio abandonado, serviu de hospital para as tropas anglo-lusas e depois como quartel general de Beresford, a quem D. João acaba por doar o edifício em 1820. A família só consegue reavê-lo após uma longa demanda em tribunal em 1838, mas dificuldades financeiras levam à sua venda.
