Alliant les qualités d’historien de l’art et de bureaucrate né, avec une origine familiale distinguée et un mariage avec Pauline Barbier, la coquette fille d’un baron, Villot était exactement l’homme dont de Nieuwerkerke avait besoin. L’inspecteur des beaux-arts Chennevières²⁰ écrivit dans ses mémoires :
« Je n'ai, de ma vie, rencontré personnalité plus personnelle, plus naïvement égoïste et oublieuse d'autrui, et aussi plus inoffensive que celle de ce pauvre Villot. […] Il avait tout fait, il avait tout inventé, il avait tout écrit, il savait tout. »

Au Louvre, Villot joua un rôle essentiel dans l’établissement et la publication des catalogues des tableaux, permettant enfin au public de mieux connaître les œuvres et leurs auteurs. Il collabora avec Clément de Ris^26b pour améliorer la sélection des Salons annuels (dont il était souvent membre du jury), a réuni les œuvres éparses d'un même maître, et fut déterminant dans l’acquisition de chefs-d’œuvre flamands et italiens auprès du roi de Hollande en 1850.

Tandis que Delacroix passait du temps, très amicalement, avec Pauline, son mari séjournait à Venise pour se remettre du choléra et étudier les maîtres italiens Véronèse et Tintoret.
En 1844, Delacroix loua une cabane près de Villot, qu’il acheta plus tard.
Au fil des années, leur engouement de jeunesse s'est transformé en une amitié durable. Les journaux de Delacroix contiennent plus de références à Villot et à sa femme qu'à tout autre ami.

Villot était aussi un mélomane érudit et poursuivi des études musicales et de composition avant de devenir conservateur. Jules Pasdeloup¹², pianiste et compositeur chargé des événements musicaux des vendredi-soirées de Nieuwerkerke, lui dédia son deuxième quatuor pour deux violons.
Une rencontre fortuite avec Richard Wagner donna naissance à une amitié au cours de laquelle Villot assuma la traduction française des opéras du compositeur. Les historiens de la musique apprécient la lettre de Wagner (Zukunftsmusik – « la musique de l’avenir », 1860) adressée à Villot, où il décrivait l’évolution de ses conceptions sur l’opéra.

C’est Villot qui présenta au compositeur le jeune Camille Saint-Saëns, qu’il avait invité à jouer pour lui des œuvres de Wagner. Le 13 mars 1861, l’opéra Tannhäuser de Wagner, soutenu par le ministre Fould¹⁷, jouée devant un public conservateur habitué aux opéras pompeux de Meyerbeer fut un désastre.

La confiance de Villot en ses compétences et son désir de restaurer les surfaces obscurcies de ses maîtres favoris, Véronèse et Rubens, le conduisirent à faire enlever leur vernis ce qui, malheureusement, élimine la peinture incrustée et détruisant leur éclat.
La presse fut impitoyable, l'accusant d'avoir « villotiner » ces œuvres d'art, d'avoir mortellement blessé plusieurs Titans et d’avoir « tué »  le Repas de noces à Cana de Véronèse.
Viel-Castel écrivit : « Lorsque Villot décide des restaurations, on y procède comme on pourrait le faire à la lessive du linge des invalides. »
La Chronique des Arts déclara : « Il a fait à ces peintures ce que Viollet-le-Duc a fait à Notre-Dame » — Viollet-le-Duc^40a étant connu pour « restaurer les édifices dans un état qui n’a jamais existé. »

Lorsque Delacroix découvrit que Villot avait traité son Scènes de massacres de Scio (1824) de la même manière sans l’en avertir, il exigea que les artistes conservent toujours le droit de retoucher eux-mêmes leurs œuvres.

À la suite de cette publicité négative pour lui et pour le Louvre, Villot dut démissionner en 1861. Son collègue conservateur Reiset prit sa place.
De Nieuwerkerke lui vint en aide en le « promouvant » à un poste sans pouvoir de secrétaire général, où il supervisa les budgets jusqu’à ce que sa santé déclinante l’oblige à cesser. Il mourut en mars 1875, un mois après Pauline.