Nel Cinquecento l’abbazia di San Matteo fu data in commenda ai Domenicani di Rieti. Della vecchia foresteria di San Matteo non sapevano proprio che farsene e quando alla confraternita dei mercanti fu imposto il descialbo del Giudizio Universale (realizzato dai fratelli Torresani), i Domenicani proposero la permuta tra l’oratorio e la chiesa che fu intitolata a San Pietro Martire riallestita da Vincenzo e Ascanio Manenti, il maestro ebanista Andrea Masini, lo stuccatore Ludovico Gonnetti.
L’edificio, eretto dalla Confraternita di San Pietro Martire nella prima metà del 1300, presso la chiesa di San Domenico, tra il 1552 e il 1554 raggiunse il massimo splendore grazie ai fratelli veronesi Lorenzo e Bartolomeo Torresani che vi affrescarono Il Giudizio Universale, un’opera che si snoda lungo tre pareti dell’Oratorio, raggiungendo la volta a crociera.
Nel 1574, nel pieno della Controriforma, i nudi del Giudizio Universale corsero il rischio di essere emendati, in quanto poco adatti alla vista dei laici, ma si salvarono in quanto fortunatamente l’oratorio fu adibito ad aula di studio per il noviziato. Dal XVIII secolo l’edificio subì un progressivo degrado essendo utilizzato nel tempo come magazzino, granaio, sartoria, alloggio dei soldati ed infine come deposito comunale. Tra il 1907 e il 1908 gli affreschi furono restaurati da Giuseppe Colarieti Tosti. Dopo la Seconda guerra mondiale l’oratorio divenne cappella della Caserma Verdirosi. Oggi, l’antico Oratorio di San Pietro Martire è di proprietà comunale, ma parte dell’area militare della Caserma.