En 1867, Alexandre de Bethmann, issu d’une famille de banquiers protestants originaire de Francfort et installée à Bordeaux depuis le XVIIIe siècle, est co-propriétaire de Gruaud-Larose et devient maire de Bordeaux. C’est lui qui fait édifier la fontaine des Trois Grâces sur la place de la Bourse à Bordeaux.

Château Olivier rentrera dans la famille De Bethmann en 1886, par l’épouse de son petit-fils, Jacques de Bethmann, arrière-grand-père des actuels propriétaires.

Jean-Jacques de Bethmann reprend en 1982, l’exploitation directe de Château Olivier après une longue période de fermage et en 2002 fait venir Laurent Lebrun comme Directeur Général. En 2021, Eléonore de Bethmann succède à son frère Alexandre et reprend la gouvernance de Château Olivier ; une nouvelle étape pour cette famille, propriétaire depuis près de 140 ans.