La notte del 2 luglio 1471 un viandante perse tutti i soldi che possedeva giocando a dadi in una bettola della zona di Piazza S. Michele. Uscì maledicendo tutti, sapendo che quei soldi persi erano il sostentamento della sua famiglia. Si diresse fuori della Porta Fiorentina giù per la strada che porta nella valle dell’Era, verso casa sua, alla Striscia. Mentre passava davanti al tabernacolo della Madonna col bambino e Santi nella Rampa della Crocina, inveendo di rabbia, prese tre sassi e li lanciò verso l’immagine. I tre sassi colpirono, l’occhio destro e il seno destro della Madonna e la testa del bambino. Il viandante, continuando a inveire, si allontanò e non ebbe il tempo di accorgersi che nei punti dove i sassi avevano colpito l’immagine, si erano formate delle ecchimosi. Per punirlo del gesto sacrilego, si dice che più oltre si sia aperta la terra sotto i suoi piedi e lo abbia inghiottito. Di fatto non tornò più a casa.
Dorotea Borselli, di nobile famiglia, figlia di Jacopo Borselli e vedova di Ottaviano Incontri, devota a quell’immagine sacra che da quel giorno fu chiamata “Madonna del Livido”, volle far erigere a sue spese un oratorio intorno al tabernacolo, lo fece abbellire e decorare con pitture e ornamenti per preservare il dipinto da altri eventuali gesti sacrilegi e per essere visitato da tutti e venerato con grande pietà.
L’oratorio si trova sulla Rampa della Crocina, nella discesa per andare al cimitero.
Il tabernacolo è composto da una raffigurazione centrale della Madonna col bambino in un cielo stellato e da una parte sicuramente dipinta posteriormente, con i santi intorno.
L’opera centrale, interessata dalla leggenda dei sassi, è stata attribuita a più pittori, Taddeo di Bartolo, Jacopo Orcagna, Niccolò Lombardi, Priamo della Quercia e il più probabile, Baldassarre Peruzzi.
L’oratorio ha subito nel tempo delle modifiche dalla iniziale struttura.
Dalle cronache del tempo risulta che prima del sacco del Duca d’Urbino, nel 1472, l’oratorio era già terminato.