Das Castel Assumburg (Kasteel Assumburg, Slot Assumburg), an der Ostseite der Heemskerk gelegen, wurde 1546 aus den Überresten von Castel Oud Haerlem erbaut.
Bereits im 13. und 14. Jahrhundert war die Burg als Williaems Woninghe van Velsen und als der Name vermuten lässt, wurde von der Familie van Velsen bewohnt.
Jan van Rietwijk, Sohn von Willem van Rietwijk van Velsen, wurde 1322 zur Hälfte von Assumburg verpfändet. Die andere Hälfte gehörte bereits Barthout van Assendelft, der ein Blutsverwandter von Jan van Rietwijk gewesen sein muss.