Τα ασκηταριά, είναι απλές κατασκευές μέσα σε φυσικές κοιλότητες βράχων όπου ζούσαν αναχωρητές μοναχοί, ασκώντας μακριά από τα μοναστήρια τα θρησκευτικά τους καθήκοντα. Στο ασκηταριό, ανάλογα με τη μορφή του σπηλαίου, διαμορφώνονταν με τοίχους στενά κελιά για έναν ή περισσότερους μοναχούς, μικρός ναός και βοηθητικοί χώροι. Στη δυτική πλευρά του Ολύμπου πάνω από το χωριό Πύθιο σώθηκαν σε ερειπιώδη κατάσταση δυο ασκηταριά, του Τιμίου Σταυρού (ή Αγίων Ταξιαρχών) και της Αναλήψεως του Κυρίου. Βρίσκονται σε μικρή απόσταση μεταξύ τους, χρονολογούνται στη βυζαντινή περίοδο και διασώζουν σπάνιες τοιχογραφίες του 14ου αιώνα. Το ασκηταριό της Αναλήψεως διαμορφώνεται μέσα σε ένα ευρύχωρο σπήλαιο 10Χ10 περίπου μέτρων όπου με τοίχους δημιουργούνται πέντε χώροι –κελιά για τους αναχωρητές και ο μικρός ναός πάνω στον βράχο. Διασώζει ελάχιστες τοιχογραφίες σε κακή κατάσταση που χρονολογούνται τον 14ο αιώνα. Σημαντικότερο είναι το βορειότερο ασκηταριό του Τιμίου Σταυρού. Αποτελείται από τρία τμήματα που διαμορφώνονται μέσα στο σπήλαιο με τα τοιχώματα του βράχου και κτιστούς τοίχους. Ο ναϊσκος με νάρθηκα δημιουργήθηκε στον φυσικό βράχο που επιχρίστηκε με παχύ κονίαμα για να δεχτεί την τοιχογράφηση. Παρά την εγκατάλειψη και τους βανδαλισμούς σώθηκαν σημαντικές και σπάνιες τοιχογραφίες στο ναΐσκο, τον νάρθηκα και το κελί. Σύμφωνα με την κτητορική επιγραφή πάνω από την είσοδο του ναού η τοιχογράφηση του σπηλαίου έγινε το 1339. Στην οροφή του σπηλαίου και στους κάθετους τοίχους σώζονται αρκετά τοιχογραφικά θέματα, η Γέννηση, η Βάπτιση, η Ανάσταση, ο Ευαγγελισμός της Θεοτόκου, Ιεράρχες, ο απόστολος Πέτρος, ο άγιος Συμεών ο Στυλίτης κα.