Het is eind 1787 als de bouw van de rooms-katholieke kerk, destijds gewijd aan de H. Willibrordus en later aan Joannes de Doper, aan het huidige Plantsoen in Lage Zwaluwe gereed is. Dit verhaal kwam tot stand met medewerking van Johan van der Vlist.
Foto links uit voorbije jaren: Zijzaaltje als laatste overblijfsel van de kerk uit 1787 en maakt nog altijd onderdeel uit van de huidige monumentale voormalige pastorie (1788). Bron: archief Immanuelparochie.
Een jaar later (1788) werd aan de bouw begonnen van het kerkhuisje, zoals een pastorie toentertijd werd genoemd, door aannemer Jacobus van der Steen die eerder ook de kerk had gebouwd. De aannemer werd aan strenge bouweisen gehouden. Zo mocht het kerkhuisje niet groter zijn dan 94 voet lang, 42 voet breed, 16 voet hoog, voorzien van rode dakpannen, de ramen gezet met glas in lood en een dubbele gladde voordeur van totaal 6 voet breed (een voet was ruim 30 centimeter). De bouw begon op 2 mei 1788 en was voltooid op 10 oktober, ruimschoots binnen de geëiste bouwtijd ven een jaar, voor de prijs van 4500 Hollandse guldens.
De eerste pastoor die de nieuwe pastorie betrok was Mattheus van Hoof die tevens kapelaan was in Made. Pastoor Van Hoof overleed plotseling in 1798 en een opvallend detail is, dat hij werd begraven in de Nederlands Hervormde kerk te Hooge Zwaluwe. (Een reden waarom deze pastoor is begraven in Hooge Zwaluwe is niet achterhaald kunnen worden). Hierna woonden achtereenvolgens pastoor Swaans en pastoor Van den Bosch de het parochiehuis. Daarna volgden er nog elf pastoors in de inmiddels ruim twee honderd jaar oude parochie. Gerardus Verhoeven, een bakkerszoon uit Den Bosch, was de eerste kapelaan die woonde er van 1816 tot 1826. Pastoor Wilhelmus Priems gaf in die tijd de parochie een open karakter en was meer betrokken met de parochianen en samenleving. Hij benoemde Alida Boogaars als dienstmeid en Christina van de Laak als werkmeid. Beide dames waren de eerste vrouwelijke bewoners van de pastorie, met elk een eigen kamer.
In de loop der opeenvolgende jaren woonden er niet alleen de eerder bedoelde pastoors maar ook twaalf kapelaans, waarvan Antonius Joseph van Delft de laatste was van 1910 tot 1920 en in 1948 en 1949 twee kapucijnen. Verder hebben er tientallen dienstmeiden, werkmeiden, naaisters, dienstbodes en een tuinman in de ruime woning gewoond. De laatste pastor/diaken, van 1994 tot 2005, die er woonde was Franciskus Theresia van Steenbergen. De laatste dienstbode was Antonia Petronella Adriana Pals. Zij werkte en woonde er van 1965 tot 1978.
In 2004 is de pastorie door het kerkbestuur verkocht en in bezit gekomen van particulieren. Als gebouw heeft de oude pastorie tot op de dag van vandaag grote waarde. De Rijksdienst voor de Monumentenzorg, die het tot Rijksmonument benoemde, schreef al op 10 december 1963 dat het pand een schoon voorbeeld is van achttiende-eeuwse woonhuisbouw. Na de verkoop heeft de woning lange tijd in de steigers gestaan en werd door de nieuwe eigenaren gerenoveerd. De gehele buitenkant, voeg- en houtwerk, werd in oorspronkelijke ere hersteld en dezelfde dakpannen werden teruggelegd op het dak. Ook van binnen werd alles onder handen genomen en vernieuwd, inclusief de vele houten trappen die naar de verschillende verdiepingen leiden.
