Le château, fondé vers 1084 par Narduin d’Estrabonne, fils d’Amaury 1er de Joux, était le centre d’une baronnie comptant une vingtaine de villages. Reconstruit en pierre au début du XIIIe siècle par Eudes d’Estrabonne, il sera largement transformé dans la 1ère moitié du XVe siècle par Guillaume III d’Estrabonne, qui renforcera ses murailles, installera la chapelle à son emplacement actuel et créera une grande salle, digne de son rang de grand seigneur, chambellan de Philippe le Bon, duc-comte de Bourgogne. Marié à Marguerite de Rougemont, puis à Jeanne de Vienne, Guillaume III eut de sa première épouse 3 filles et de la seconde un fils, Jean VI.
Le château comportait alors deux enceintes en pierre, une tour maîtresse de quatre étages, qui devait s’élever à plus de 25 m, deux tours carrées, plus celle de la poterne de la basse-cour qui protégeait le pont-levis permettant de franchir le fossé précédant une première enceinte. Une barbacane, un second pont-levis et des douves défendaient l’entrée de la seconde muraille. Deux étangs baignaient et couvraient ses flancs nord et est.
Pendant près de quatre siècles, les seigneurs d’Estrabonne avaient été les serviteurs zélés des comtes de Bourgogne, les assistant à leur cour et participant à leurs différentes guerres, qui furent fatales aux deux derniers seigneurs de cette vieille famille comtoise.
Avec la mort de Jean VI, le dernier descendant mâle, tué en 1471 dans l’une des guerres de Charles le Téméraire alors qu’il n’avait pas 18 ans, Estrabonne allait sortit de l’histoire comtoise. Le château passera alors à une de ses demi-sœurs, Catherine d’Estrabonne, mariée à Jacques d’Aumont. Pour les membres de cette famille française et non plus comtoise, Estrabonne n’était qu’un bien parmi tant d’autres, dont ils se désintéresseront vite. Il sera démantelé par les troupes de Louis XI en 1477, occupé et pillé lors des diverses invasions d’Henri IV, Louis XIII et Louis XIV. Transformé en ferme depuis 1570, sa première enceinte servira de carrière pour reconstruire le village après les destructions massives dues à la guerre de Dix ans (1635-1644). Il subira un incendie en 1673, perdra son pont-levis l’année suivante et sera vendu en 1723 à Jean Pourcheresse, propriétaire des forges de Fraisans (Jura). Son fils Jean-Jacques rebâtira l’aile nord en 1738/1739. Thérèse-Eléonore Pourcheresse le revendra en 1782 au Prince de Saint-Mauris-Montbarey, seigneur de Ruffey-sur-l’Ognon.
La tour de la poterne de la basse-cour sera détruite en 1794, cependant que le château échappera aux destructions de la Révolution, personne ne songeant que cette ferme avait été auparavant une puissante forteresse. Son dernier seigneur ayant émigré, il sera vendu comme bien national.
Cette belle demeure conserve son aspect féodal avec notamment les restes encore imposants de la tour maîtresse et d’une tour carrée, la grande salle, la chapelle et deux très belles caves voûtées.