Op deze plek stond in 1132 Het Huis te Aelbrechtsberg, later ook wel het Huys te Bloemendaal genoemd. Deze 12e-eeuwse kasteelhoeve - een jachtslot/ridderhuis met landgoed - was een grafelijk onderkomen en functioneerde vooral als bestuurslocatie voor de graven van Holland. Het huis is gebouwd in opdracht van Graaf Floris II en zijn vrouw Petronilla van Saksen.