Seguaci dell’ordine dei benedettini, gli olivetani fondarono il loro monastero nel 1313. Il beato Bernardo Tolomei (1272-1348) costituì una comunità religiosa con il nome di Congregazione di Santa Maria di Monte Oliveto, sull’omonimo monte a metà strada tra Siena ed Arezzo. Nel 1319 la fondazione ricevette l’approvazione dal vescovo di Arezzo Guido Tarlati e venne inserita nella regola benedettina; l’anno successivo iniziò la costruzione del monastero e nel 1344 la Congregazione olivetana ricevette la conferma da papa Clemente VI (1342-1352). I suoi membri si dedicavano principalmente alle arti al servizio della liturgia. A metà Seicento c’erano sei monasteri olivetani in Toscana. (POLONIO, 1972, 369-420)
Si accede al monastero tramite un palazzo medievale in mattoni rossi, raggiunto percorrendo un ponte levatoio e sovrastato da una massiccia torre quadrangolare dotata di barbacani e merlature. La costruzione di questo edificio, adibito a porta d’ingresso fortificata del monastero, fu iniziata nel 1393, per terminare nel 1526 ed essere poi seguita da un restauro nel XIX secolo. Sopra l’arcone d’ingresso è posta una terracotta smaltata, raffigurante la Madonna col Bambino circondata da due angeli, attribuita ai Della Robbia; nei pressi è posta un’altra terracotta robbiana, raffigurante San Benedetto benedicente.
Superato il palazzotto si imbocca un lungo e suggestivo viale di cipressi, lungo cui sono posti l’orto botanico della vecchia farmacia, distrutta nel 1896, una peschiera risalente al 1533 e alcune cappelle, quella della Madonna dell’Onigo, quella di San Benedetto, quella di San Bernardo Tolomei, quella di Santa Croce, quella di Santa Francesca Romana e quella di Santa Scolastica. In fondo al viale si trova il campanile, di stile romanico-gotico, e l’abside della chiesa che presenta una facciata gotica; nella zona absidale è stata collocata nel 2009 la statua di San Bernardo Tolomei, di Massimo Lippi. Da una porta situata a destra dell’ingresso della chiesa si accede al Chiostro Grande.