Brillant courtisan, sa belle prestance et son esprit lui valurent de nombreuses conquêtes féminines et quelques séjours à la Conciergerie et à la Bastille.
Nommé Grand Maréchal des Logis du Roi, il participa au choix du site de Marly pour y installer la résidence préférée du Roi. Pour être à proximité, en 1696, il achète le Château de Voisins à Luciennes, à Louis II Bernin de Valentinois, marquis d’Ussé, gendre de Vauban. Monsieur de Cavoye l'aménage avec faste, pour y recevoir nombre des invités du Roi à Marly, qui ne pouvaient être accueillis dans les célèbres pavillons. C'est d'ailleurs lui qui, dès 1686, avec Louis XIV dressait la liste des "Marlys", réceptions recherchées dans le site enchanteur du Château et du Parc de Marly.

Élevé au titre de Marquis en 1677, Louis d’Ogier de Cavoye, obtint la permission de posséder sa chapelle particulière dont la cloche "La Cavoise" baptisée en 1697, sonne toujours chaque heure, dans les dépendances du Château reconstruit vers 1825, et occupé maintenant par le Centre de Formation de la Banque Nationale de Paris (B.N.P.).

De par ses fonctions, Monsieur de Cavoye recevait à Voisins nombre de personnages célèbres qui furent ses amis, Racine, Boileau, Jules Hardouin Mansart. Si l’on écoute le Roi Soleil, Cavoye avec Racine se croit bel esprit, Racine avec Cavoye se croit courtisan. Très richement doté par le monarque, il avait des intérêts dans l'armement maritime du Corsaire Jean Bart. Le Roi le visitait parfois à Louveciennes, ce qui était un honneur fort rare. Vers la fin de sa vie, il demanda plusieurs fois à Louis XIV de lui reprendre sa charge, mais le Roi refusa, en lui disant "Cavoye, mourons ensemble", ce qui fut presque fait puisque Louis d’Ogier de Cavoye mourut au début de 1716, cinq mois après le Roi Soleil.