De burcht werd in 1393 verwoest door de graaf van Holland, die ruzie had met Willem VI van Horne, heer van Altena. Alleen de toren van het kasteel is tot in de 17e eeuw overeind gebleven. Op de kasteelheuvel, die ook nu nog als zodanig in het landschap te herkennnen is, werd later een boerderij gebouwd. Bij het dorp stond ook de hofstede Clootwijk, die door het adellijke geslacht van die naam bewoond werd. Tijdens de Sint Elisabethsvloed van 1421 werd dit versterkte huis, evenals het dorp, door de golven verzwolgen. Op de plaats van de hofstede is later de Klootwijkhoeve gebouwd.
Tussen 1648 en 1795 was het dorp een zogenaamde ambachtsheerlijkheid. In de 18e eeuw was deze in bezit van de familie Fabricius, in de 19e eeuw van de familie Hanedoes.
In 1810 werd Almkerk uitgebreid ten koste van Uitwijk en Nieuwendijk-noord (de grens tussen Nieuwendijk-noord en Nieuwendijk-zuid liep langs de Alm), en in 1879 werden Emmickhoven en Waardhuizen (met Nieuwendijk-zuid) aan de gemeente toegevoegd. Overigens maakten ook de buurtschappen Uppel, Zandwijk, de Doorn en Honswijk deel uit van de gemeente.
In de 19e eeuw werd het dorp door twee grote branden getroffen; een in 1826 en de ander in 1877. De brand van 1877 ontstond door onbekende oorzaak in de Kruisstraat achter het huis van notaris L. v.d. Ven en breidde zich razendsnel uit naar de omliggende gebouwen. Totaal 39 huizen en schuren werden op die 8e juni door de vlammen verzwolgen. Na de brand besloot de gemeenteraad tot de vorming van een brandweerkorps en de aanschaf van een brandspuit.
Vlasteelt, veeteelt en in mindere mate paardenfokkerij vormden vanouds belangrijke middelen van bestaan voor de bevolking. De paardenmarkten werden van oudsher op 8 juni en de vrijdag na 1 oktober gehouden. In 1880 waren 145 personen werkzaam op de elf vlasserijen die Almkerk toen telde. Er was in die tijd ook een sigarenfabriekje van de gebroeders Van Dusseldorp dat werk bood aan twintig mensen. De vlasteelt verloor in de 20e eeuw echter aan belang, maar het aantal sigarenbedrijfjes was in 1930 gegroeid tot acht. Daarnaast vonden vele mannen werk in de riet- en griendcultuur in de Biesbosch.
De Tweede Wereldoorlog bracht ook Almkerk veel persoonlijk leed en materiële schade; de wederopbouw werd echter energiek aangepakt en al in 1948 werden de eerste nieuwbouwwoningen aan de Fabriciusstraat opgeleverd.
Bij de gemeentelijke herindeling van 1973 verloor 'groot Almkerk' haar zelfstandigheid en werd, exclusief Nieuwendijk dat bij Werkendam gevoegd werd, samengevoegd met Woudrichem, Andel, Giessen en Rijswijk tot de nieuwe gemeente Woudrichem.
