Em 1809, a entrada do exército francês na cidade gerou o pânico e a população em fuga precipitou-se sobre a Ponte das Barcas. Esta afundou-se, provocando centenas de mortos. Para receber crianças orfãs, na sequência deste desastre, foi fundado o Recolhimento de N. Srª das Dores. A partir de 1825 instalou-se neste edifício junto da antiga Porta do Sol, uma das entradas da muralha fernandina. Posteriormente foi construída a capela e o edifício ampliado.

R. Augusto Rosa