En débouchant du taillis, les Français se trouvent à trente pas des bâtiments de Hougoumont, vaste massif de pierre, et du mur du parc, haut de deux mètres. Il s'agit seulement pour Jérôme « de se tenir dans le fond, derrière le bois, en entretenant en avant une bonne ligne de tirailleurs ». Mais, soit que l'ordre ait été mal expliqué ou mal compris, soit que le frère de l'empereur ne veuille pas se borner à ce rôle passif, soit encore que les soldats, très animés, s'élancent spontanément, on se rue à l'assaut.

Mur et murailles sont percés de meurtrières d'où les Anglais commencent un feu nourri. Ils sont abrités, ils visent avec calme ; à cette petite distance, tous leurs coups portent. Les fantassins de Jérôme perdent leurs balles contre un ennemi invisible. Les uns tentent d'enfoncer la grande porte à coups de crosse, mais cette porte est dans un rentrant ; ils sont fusillés de face et de flanc. D'autres s'efforcent d'escalader le mur du parc en faisant la courte échelle ; à travers les meurtrières, les Anglais les percent de leurs baïonnettes. Les cadavres s'amoncellent au pied de Hougoumont. Les assaillants rentrent à l'abri du bois.
Le chef d'état-major de Jérôme, conseille de s'en tenir à cette première attaque. Il suffit d'occuper le bois ; il faut rompre le combat. Reille, à en croire sa relation, envoie des ordres analogues. Mais Jérôme s'obstine. Il veut emporter la position. Il appelle sa seconde brigade pour relever dans le taillis la brigade Bauduin avec les débris de laquelle il tourne Hougoumont par l'ouest. Sa colonne, qui n'est plus défilée, chemine sous le feu à 600 mètres des batteries anglaises.

Elle atteint pourtant la façade nord de Hougoumont et y donne assaut. Tandis que le colonel de Cubières est renversé, grièvement blessé, à bas de son cheval, un géant, surnommé l’enfonceur, le lieutenant Legros, du 1er léger, prend la hache d'un sapeur et brise un vantail de la porte. Une poignée de soldats se précipitent avec lui dans la cour.