Pour rejoindre Smolensk, la Grande Armée doit désormais emprunter la même route qu'à l'aller, qu'elle a dévastée lors de sa marche en avant. Or, au même moment, les problèmes d'approvisionnement deviennent cruciaux car les soldats se sont plus encombrés d'objets pillés que de nourriture. Il faut aussi compter avec la pluie, une pluie fine et pénétrante, qui enrhume et démoralise.
La découverte du champ de bataille de Borodino, où ils avaient combattu deux mois auparavant, porte un coup au moral des soldats de la Grande Armée : « On voyait, conte le sergent Bourgogne, sortir de terre des jambes, des bras et des têtes ; presque tous ces cadavres étaient des Russes, car les nôtres, autant que possible, nous leur avions donné la sépulture. Mais comme tout cela avait été fait à la hâte, les pluies qui étaient survenues depuis en avaient mis une partie à découvert. Rien de plus triste à voir que tous ces morts qui, à peine, conservaient une forme humaine. [...] Lorsque nous fûmes arrêtés, nous nous occupâmes de nous abriter, afin de passer la nuit le mieux possible. Nous fîmes du feu avec les débris d'armes, de caissons, d'affûts de canon ; nous fûmes embarrassés, car la petite rivière qui coulait près de notre camp, était remplie de cadavres en putréfaction. » Les hourras des cosaques achèvent d'effrayer l'armée. Certes, Koutouzov se contente de la suivre, en marchant sur son flanc gauche. Mais il coordonne les incessants harcèlements que mènent ses redoutables cavaliers avides de piller à leur tour les Français. Et ces coups de main contribuent à l'affolement des troupes.
Jusqu'à Dorogobouj, à trois jours de marche de Smolensk, la retraite présentait encore une apparence d'organisation. Mais le 6 novembre, la débâcle avait commencé : L'atmosphère qui, jusqu'ici, avait été si brillante, note le quartier-maître Barrau, s'enveloppa de vapeurs froides et rembrunies. Le soleil, caché sous d'épais nuages, disparut à nos yeux, et la neige, tombant à gros flocons, dans un instant obscurcit le jour et confondit la terre avec le firmament. Le vent, soufflant avec furie, remplissait les forêts du bruit de ses affreux sifflements et faisait courber contre terre les noirs sapins surchargés de glaçons, enfin la campagne entière ne formait plus qu'une surface blanche et sauvage. »