Ο Όσιος Αρσένιος (1800 – 1877 μ.Χ.) έδρασε και δίδαξε στην Πάρο από το 1829 μ.Χ.. Η προσφορά του και η αγιοσύνη του ήταν γνωστές σε όλους τους κατοίκους του νησιού, οι οποίοι σε κάθε μεγάλη ταραχή ή δυσκολία ζητούσαν τη βοήθειά του. Έτσι συνέβη και με τους κατοίκους των αγροικιών που συνόρευαν με τα κτήματα της μονής του Αγίου Γεωργίου. Οι κάτοικοι, λοιπόν, παρατήρησαν ότι τα βράδια άγριοι βόες προξενούσαν ζημιές στα κτήματα και διακινδύνευαν για να σώσουν το βιός τους. Πήγαν, λοιπόν, στον όσιο Αρσένιο που τότε κατοικούσε στη Μονή, και ζήτησαν βοήθεια.

Τότε, ο Όσιος τους ενημέρωσε ότι δεν πρόκειται για απλούς βόες, αλλά για δαίμονες που στόχο έχουν να τους πειράξουν. Όπως τους ζήτησε, οι κάτοικοι τον ενημέρωσαν μια νύχτα που ξαναήρθαν οι βόες και ο Άγιος με τον Τίμιο Σταυρό στο χέρι έσπευσε να τους αντιμετωπίσει. Σύμφωνα με γραπτές πηγές φέρεται να είπε: “Σταυρὸς Ἀγγέλων ἡ δόξα καὶ τῶν δαιμόνων τὸ τραῦμα” και έπειτα οι βόες παρέλυσαν ως νεκροί. Ο Άγιος τότε τους διέταξε να μείνουν στα βάθη του σπηλαίου ως τη Δευτέρα Παρουσία. Μέχρι τότε, το σπήλαιο καλούνταν Καλαμπάκα. Έκτοτε έμεινε να αποκαλείται: “το σπήλαιο των δαιμόνων”.