Tombant sous le coup de la loi du 22 juin 1886 qui interdit de séjour les chefs de familles ayant régné en France, Henri et son épouse Isabelle d’Orléans Bragance, vont connaître une série d’exils successifs, en fait jusqu’en 1950 où la loi ayant été abrogée ils peuvent enfin rentrer en France.

Au mois d’octobre 1953 le comte, la comtesse et leurs onze enfants emménagent dans le manoir de Cœur-Volant, à Louveciennes. Isabelle, l’aînée des enfants a vingt et un ans, Thibaut, le cadet en a cinq la vie va s’écouler dans des rires et la gaieté.

La maison est confortable mais bien petite pour toute la famille. Heureusement le Pavillon Blanche-Neige, dans le parc, peut accueillir une partie de la tribue. La famille s’organise avec le concours de la gouvernante, Madeleine de Chérade de Montbron, la comtesse est heureuse, J’ai trouvé enfin la bonne terre pour m’enraciner avouera-t-elle.

La famille vit simplement, toujours un mot gentil accompagne leur bonjour, tous participent à la vie du village, le comte et la comtesse votent à Louveciennes, ils assistent à la messe de 7H.30 à l’église, les jumeaux Michel et Jacques sont enfants de chœur. Les parents participent aux cercles religieux au presbytère, tirent les Rois avec les paroissiens, ils sont au premier rang des spectacles donnés par les enfants du patronage, les altesses royales Claude et Anne n’hésitent pas à faire du baby-sitting pour rendre service, elles sont monitrices dans les colonies de vacances de la paroisse. Plus cérémonieusement les époux reçoivent le général de Gaulle, Edgar Faure, Pierre Mendès-France, et autres personnalités.

Le maire Guillaume marie Hélène en 1957, Isabelle en 1964. Anne sera également mariée à Louveciennes mais en 1965 par le maire Jacques Tassin. Entre ces événements heureux, salués par une foule louveciennoise en liesse, un drame viendra endeuiller la famille, François meurt lors de la Guerre d’Algérie en 1960.

A Louveciennes la comtesse écrira Tout m’est bonheur, ses souvenirs à partir de notes prises au jour le jour, et le comte rédigera ses Mémoires d’exil et de combats.

Le comte et la comtesse ont quitté Louveciennes en 1972.