Essendo il colle di S. Stefano completamente ricoperto di fitta vegetazione, i resti della chiesa, seppure imponenti, non sono visibili finché non si arriva alla sommità del colle stesso. Questo fatto contribuisce ad accrescerne la suggestione, l'alone di mistero e il forte senso di appartenenza che gli abitanti di Manciano coltivano per questo luogo.
Sulla chiesa e abbazia di S. Stefano si tramandano varie leggende e dicerie, che se a volte sono palesemente strampalate possono sempre avere qualche riferimento alla realtà.

Si racconta che il monastero in antico era ricchissimo, tanto che i frati (nel vernacolo locale non esiste un vocabolo per indicare i monaci) ferravano i cavalli con zoccoli d'argento. Anche se il fatto non ha un minimo di senso poiché l'argento ha così scarsa resistenza da non durare che per poche centinaia di metri, la diceria potrebbe aver avuto origine dall'usanza di ornare i finimenti di cuoio (ma non certo gli zoccoli!) con mostre, fibbie e anelli d'argento, essendo documentata l'effettiva ricchezza e il lusso dei monaci.

Un'altra storia legata ai cavalli, ma evocatrice di ancestrali paure e di spaventose notti di tempesta, narra che un lupo affamato saltò in groppa ad un cavallo del monastero azzannandolo per la criniera e il cavallo (incolume?) fu ritrovato il giorno dopo a Matigge.

Ciò che rimane del portale(6/10/1980)

Un altro racconto che fa luce sui rapporti tra i mancianesi e il monastero di S. Stefano narra che alcuni abitanti di Istriani (il gruppo di case più vicino al monastero) asportarono pietre per riutilizzarle, ma ciò era causa di disgrazie. Gli animali allevati nelle stalle fabbricate con tali materiali si ammalavano facilmente o morivano. Molti riportarono le pietre tra le rovine dell'abbazia. Tuttora in molte case di Istriani si vedono reimpiegate pietre ottimamente squadrate. Non si è riusciti però a identificare pietre che potessero far parte dei portali.

Molto interessante è invece la notizia dell'esistenza di un monastero femminile, alle Corone su uno sperone di roccia ad est di S. Stefano, diviso da detto colle da una profonda gola, ma ad esso collegato con una teleferica per scambio di viveri. I fatiscenti resti di muratura tuttora visibili vengono indicati come avanzi di quel monastero.
Nessun Autore ha mai citato un monastero femminile a Manciano, ma se ne trova cenno in un elenco di chiese nel libro delle esazioni delle decime in cui l'esattore annota che il 24/12/1334 ricevette la somma dovuta da un prete, per conto dell'abbadessa del monastero di S. Stefano di Manciano (solvente pro abbatissa monasterii S.Stephani de Manzano...). Né è possibile ipotizzare un errore di lettura o di trascrizione tra abbatissa e abbate poiché il giorno prima risulta annotato il versamento della decima di un'altra chiesa da parte di tale don Angelo, monaco del monastero di S. Stefano di Manciano, che pertanto avrebbe potuto versare anche la somma dovuta dall’abate del suo monastero. Ma il monastero all'epoca non era più autonomo perché dal 1318 era stato aggregato al monastero di Sassovivo e poi alla mensa vescovile di Spoleto e infatti non figura nei libri di esazione delle decime del 1333 -1334.  L'argomento dovrebbe essere ulteriormente approfondito.

Alcuni anziani raccontano che l'abside funge da rudimentale ma preciso orologio solare, infatti quando la linea che separa la zona illuminata dalla zona in ombra "spacca" la finestra è mezzogiorno. La notizia corrisponde a verità in quanto l'edificio è orientato, ma il fenomeno non è facilmente osservabile poiché l'abside è visibile sol da chi ci sta a ridosso, oppure sta sul colle ad est e molto più in alto tanto da poterla osservare al di sopra delle cime degli alberi, o quando questi sono spogli o, come di recente, nell'anno successivo al taglio del bosco. Inoltre, per la diffusione degli orologi, il fenomeno viene osservato solo per curiosità e non certo per utilità pratica.

L'isolamento del luogo, l'imponenza dei ruderi e le storie che si raccontano hanno dato origine alla credenza abbastanza diffusa dell'esistenza di un tesoro tra i ruderi degli edifici crollati. Spesso vi si possono osservare scavi recenti e quando in loco viene notato il passaggio di qualche studioso o di qualche curioso forestiero, vengono ripresi nuovi tentativi di ricerca.

La devozione a Santo Stefano, costantemente viva attraverso i secoli, ha conferma nell'uso frequente del nome Stefano tra gli abitanti di Manciano.

Tra i pochi documenti antichi che citano nomi propri, il primo che riporta uno Stefano da Manciano risale alla fine del '400. Fabrizia di Stefano, ebbe la famiglia decimata dalla pestilenza e le tre donne superstiti non riuscivano a seppellire i cadaveri dei loro congiunti. L'episodio, descritto in un rogito notarile, è ricordato anche in una bella tavoletta votiva conservata per secoli nel santuario della Madonna delle Lagrime e ora alla Raccolta d'Arte di S. Francesco.