Het oorspronkelijke huis dat op de grond stond, die geschonken werd door Deken Marinus de Bie om daar een Liefdesgesticht te bouwen, heette Buitenrust. Blanche Fleur was de pastorie die door Pastoor Matheus de Beer was gebouwd in 1630. In de loop der tijd zijn wel verbouwingen uitgevoerd. In 1977 is Blanche Fleur gesloopt om plaats te maken voor het Bejaardenhuis St. Elisabeth. En dat is in 2022 gesloopt.