Avant, des pêches à chair rouge poussaient sur ces terres. Cette variété de fruits s'appelait la pêche Pavie et donna naturellement son nom au Château. Petit à petit les pêches ont laissé la place à la vigne.
En 1867, Le domaine à l'époque nommé « Pimpinelle » appartenant à Messieurs Fayard et Chapus obtient une médaille d'or à l'Exposition universelle de Paris.
En 1873, Ferdinand Bouffard, négociant bordelais, a hérite du domaine. Progressivement, en presque vingt ans, il va racheter des petites propriétés avoisinantes comme Pigasse, Chapus, Fayart ou Dussaut, formant un ensemble de près de 50 hectares ! S'il a donné naissance à ce que va devenir Château Pavie, il continue à vinifier et commercialiser séparément chaque propriété : Larcis-Bergey, Pavie-Pigasse, Pimpinelle, Clos Simard et la Sable.
Dès le premier classement des crus de Saint-Emilion à 1955, le domaine accède au rang de Premier Grand Cru Classé B.
En 2012, Le Château Pavie accède au rang de Premier Grand Cru Classé ʽʽAʼʼ de Saint-Emilion.