Dom Pedro I percebeu depois da morte da Imperatriz Dona Leopoldina como a havia tratado miseravelmente, com sua relação com Domitila começando a ruir. Diferentemente da amante, Maria Leopoldina era popular, honesta e amava o marido sem esperar nada em troca.

O Imperador passou a sentir muitas saudades dela, nem mesmo sua obsessão por Domitila conseguindo fazê-lo superar seu sentimento de perda e arrependimento. Um dia a amante o encontrou chorando no chão abraçado a um retrato da esposa, cujo "fantasma infeliz" Pedro afirmou ter visto. Posteriormente o imperador deixou a cama que estava com Domitila e gritou: "Larga-me! Sei que levo vida indigna de um soberano. O pensamento da Imperatriz não me deixa".

Ele não esqueceu de seus filhos, que ficaram órfãos de mãe, sendo observado em mais de uma ocasião segurando seu filho Pedro (futuro Dom Pedro II) em seus braços e dizendo: "Pobre menino, és o príncipe mais infeliz do mundo".

Domitila acabou deixando o Rio de Janeiro em 27 de junho de 1828 após insistências do imperador.