Antes, pêssegos de polpa vermelha cresciam nessas terras. Esta variedade de fruta chamava-se pêssego Pavie e deu naturalmente o nome ao Château. Aos poucos os pêssegos deram lugar às vinhas.
Em 1867, a propriedade então denominada “Pimpinelle” pertencente aos Srs. Fayard e Chapus ganhou medalha de ouro na Exposição Universal de Paris.
Em 1873, Ferdinand Bouffard, um comerciante de Bordéus, herdou a propriedade. Aos poucos, ao longo de quase vinte anos, comprou pequenas propriedades vizinhas como Pigasse, Chapus, Fayart e Dussaut, formando um total de quase 50 hectares! Embora tenha dado origem ao que se tornaria o Château Pavie, continua a vinificar e comercializar cada propriedade separadamente: Larcis-Bergey, Pavie-Pigasse, Pimpinelle, Clos Simard e la Sable.
A partir da primeira classificação dos vinhos Saint-Emilion em 1955, a propriedade alcançou a categoria de Premier Grand Cru Classé B.
Em 2012, o Château Pavie alcançou o posto de Premier Grand Cru Classé ʽʽAʼʼ de Saint-Emilion.