Di origine medievale, le prime citazioni risalgono al XIII secolo. Per la sua posizione strategica, il borgo fortificato di Gargonza fu a lungo al centro di conflitti tra guelfi e ghibellini. Nel 1304, secondo alcuni storici, ospitò Dante Alighieri, il quale partecipò ad un incontro tra i ghibellini fiorentini e gli aretini. Pochi anni dopo, il castello subì un assedio da parte dei fiorentini; nel 1381 passò alla Repubblica di Siena, per essere poi occupato nuovamente dalle milizie di Firenze. Nel 1433, la rivolta della popolazione locale causò una dura repressione da parte dei fiorentini, che rasero al suolo il borgo, lasciando in piedi la torre alla sommità dell’abitato.
Nel 1546 il castello passò alla famiglia Lotteringhi della Stufa; nel corso del XVIII secolo divenne proprietà dei marchesi Corsi, divenendo una tenuta agricola. Nella prima metà del XIX secolo il borgo ospitava oltre 500 persone. Nella seconda metà del Novecento, dopo lo spopolamento del borgo, il castello fu restaurato per volontà del conte Roberto Guicciardini Corsi Salviati e adattato a fini turistici.
