Μέσα στο εκκλησάκι, όπου δεν χωράνε περισσότερα από πέντε άτομα, η εικόνα παρουσιάζει ένα καβούρι να κρατάει με τις δαγκάνες του την Παναγία! Η παράδοση διασώζει δύο ιστορίες : Η πρώτη μιλάει για ένα ψαρά που μάζευε κοχύλια και τον δάγκωσε ένας κάβουρας. Εκείνη τη στιγμή, είδε την εικόνα της Παναγίας στα βράχια, την πήρε και την πήγε στην εκκλησία του χωριού του. Μετά όμως από ένα όνειρο, η εικόνα ξαναβρέθηκε στο ίδιο σημείο, όπου και αποφασίσθηκε να χτιστεί η εκκλησία. Μία δεύτερη εκδοχή θέλει δύο Καλύμνιους ψαράδες να ζητούν απάγκιο στο Διαπόρι της Λέρου. Άρχισαν να ψαρεύουν κοντά στη παραλία με καμάκι μέχρι που με τη λάμπα τους διέκριναν μία αποικία από καβούρια. Καθώς ετοιμάστηκαν να φύγουν. Ένα κομμάτι ξύλου ανέβηκε στην επιφάνεια, το καθάρισαν και είδαν πως επρόκειτο για την εικόνα της Παναγίας. Επέστρεψαν στη Κάλυμνο, όμως έπειτα από αλλεπάλληλα όνειρα που είδαν την έφεραν πίσω στη Λέρο και έχτισαν εκκλησάκι στο σημείο ανεύρεσής.