Les trois bataillons de la garde repoussent sans peine la cavalerie. Mais leur formation en carrés, qu'ils sont cependant tenus de conserver pour résister à de nouvelles charges, les met dans un état d'infériorité tactique vis-à-vis de l'infanterie anglaise, en ligne sur quatre rangs. Son feu plus étendu et plus dense bat les carrés de front et d'écharpe. A la mousqueterie se mêle la mitraille des batteries qui tirent à soixante mètres. Les masses ennemies foisonnent autour des grenadiers.
 L'empereur donne l'ordre de quitter cette position intenable. Lui-même, réfléchissant, trop tard peut-être, que, pour arrêter une déroute, il faut non point rester sur le front rompu des troupes qui lâchent pied, mais se porter en arrière afin de les rallier sur une nouvelle position, gagne au galop, avec quelques chasseurs d'escorte, les hauteurs de la Belle-Alliance.
Les trois bataillons rétrogradèrent pas à pas. Réduits à trop peu d'hommes pour rester en carrés sur trois rangs, ils se formèrent sur deux rangs, en triangles, et, baïonnettes croisées, percèrent lentement à travers la foule des fuyards et des Anglais. A chaque pas, des hommes trébuchaient sur les cadavres ou tombaient sous les balles. Tous les cinquante mètres, il fallait faire halte pour reformer les rangs et repousser une nouvelle charge de cavalerie ou une nouvelle attaque d'infanterie.
 Dans cette héroïque retraite, la garde marchait littéralement entourée d'ennemis, comme à l'hallali courant le sanglier parmi la meute. Il y avait contact si étroit que, malgré les bruits multiples du combat, on se trouvait à portée de la voix. Au milieu des coups de feu, des officiers anglais criaient de se rendre à ces vieux soldats. Cambronne était à cheval dans un carré. Le désespoir au coeur, étouffant de colère, exaspéré par les incessantes sommations de l'ennemi, il dit rageusement : « M... ». Peu d'instants après, comme il allait atteindre avec son bataillon les sommets de la Belle-Alliance, une balle en plein visage le renversa sanglant et inanimé.