Στο ερειπωμένο σήμερα "Παλαιό Πυλί" που βρίσκεται σε ύψωμα στα νοτιοανατολικά του χωριού, σε εξαιρετικό φυσικό περιβάλλον υπάρχουν τρεις εκκλησίες, ο Άγιος Αντώνιος, οι Ταξιάρχες και η Παναγία η Υπαπαντή, που αποτελούσε παλιά την "Μονή των Καστριανών" η οποία είχε ιδρυθεί από τον Όσιο Χριστόδουλο και απέχει περίπου 15 χιλιόμετρα από την πρωτεύουσα του νησιού.
Από τις τρεις αυτές εκκλησίες η Υπαπαντή παρουσιάζει το μεγαλύτερο ενδιαφέρον καθώς διατηρούνται υπολείμματα αγιογραφιών του 14ου αιώνα, ξυλόγλυπτο τέμπλο και αρχαίοι κίονες που προφανώς μεταφέρθηκαν από το κοντινό ιερό της Δήμητρας.
Όταν το 1080 ο μοναχός Όσιος Χριστόδουλος ο Λατρηνός φεύγει από τη Στρόβιλο της Μικράς Ασίας και φτάνει στην Κω όπου ιδρύει στο λόφο του Πυλίου τη Μονή της Παναγίας των Καστριανών.
Το μοναστήρι βρίσκεται στο λόφο του Παλαιού Πυλίου και το Καθολικό του, το οποίο είναι αφιερωμένο σήμερα στην Υπαπαντή του Χριστού. Από τη Μονή του Όσιου Χριστόδουλου σώζονται στα ερείπια δυτικά και νότια της Καστριανής Είχε πιθανόν τρεις πύργους στη νότια ευπρόσβλητη πλευρά. Ο νότιος περίβολος της Μονής σώζεται σε μεγάλο ύψος και αποτελεί ουσιαστικά τη συνέχεια προς τα δυτικά του νότιου τοίχου του ναού, όπου διαμορφώνονταν μικρά ορθογώνια κελιά .
Το καθολικό της Παναγίας των Καστριανών είναι ένας μονόχωρος, καμαροσκέπαστος ναός.
Μετά από ανασκαφή στον κυρίως ναό αποκαλύφθηκαν τάφοι που χρονολογούνται μετά τις αρχές του 16ου αι., στην οθωμανική περίοδο. Νότια του ναού αποκαλύφθηκε κοιμητήριο της ίδιας περιόδου εκτείνεται κοιμητήριο.
Οι τοιχογραφίες που διατηρούνται στο ναό τουλάχιστον παρουσιάζουν τρία στρώματα: Στο πρώτο στρώμα ανήκουν τμήματα μορφών αγίων, διακοσμητικά στοιχεία, και η παράσταση του Γενέσιου της Θεοτόκου.
Παρόλο που η παράσταση είναι πολύ φθαρμένη, διακρίνεται στο πρόσωπο της Παναγίας η δύναμη της έκφρασης του ζωγράφου και η αρτιότητα στην απόδοση των λεπτομερειών, έργο πιθανόν του 12ου αιώνα.