Η Βυζαντινή πόλη των Σερβίων είχε την Ακρόπολη, την Άνω Πόλη και την Κάτω Πόλη ! Υπήρχαν δηλαδή τρία τείχη άμυνας για τους επιδρομείς, τα οποία προφύλασσαν ταυτόχρονα το στρατιωτικό διοικητή που ζούσε στην Ακρόπολη, τόσο από τους εξωτερικούς, όσο και από τους εσωτερικούς εχθρούς. Στην κάτω πόλη ζούσαν οι αγρότες και οι εργάτες, στην άνω πόλη διέμενε η μεσαία τάξη και στην Ακρόπολη ο Στρατιωτικός διοικητής, όπως αναφέρει ο Ιωάννης Καντακουζηνός: «Το δε τρίτον, άκρα ον, το άρχοντιι ανείται».
Το Κάστρο των Σερβιων κτίστηκε μεταξύ (560-650 μ.Χ.), δηλαδή στα χρόνια του Ιουστινιανού ή του Ηρακλείου.
Η Ακρόπολη κάλυπτε 2,5 στρέμματα και σήμερα σώζονται -με μεγάλες φθορές- οι Πύργοι, που ξεπερνούσαν τα 20 μέτρα ύψος, μεγάλα τμήματα από τα τείχη και ίχνη κτισμάτων.
Η Άνω Πόλη κάλυπτε 20 στρέμματα. Σώζονται οι βάσεις πολλών κατοικιών και τα τείχη που την περιέβαλλαν, που είχαν σχήμα πολυγωνικό, με πύργους στρογγυλούς και ορθογώνιους που ακολουθούσαν την κλίση του λόφου.
Η Κάτω Πόλη κάλυπτε 75 στρέμματα. Σώζονται τείχη, τμήμα της κεντρικής υψηλής πύλης του Κάστρου, τμήματα Υδραγωγείων, πολλά ερείπια και ίχνη σπιτιών και εκκλησιών. Τρεις μάλιστα εκκλησίες σώζονται σε αρκετά καλή κατάσταση με πολλές σπάνιες και θαυμάσιες τοιχογραφίες. Είναι η μεγάλη Βυζαντινή Βασιλική Εκκλησία (11ου αιώνα) που πιθανολογείται από τους ειδικούς ότι είναι του Αγίου Δημητρίου, η εκκλησία του Προδρόμου Ιωάννη και το μοναστήρι των Αγίων Θεοδώρων, σκαρφαλωμένο σαν περιστεροφωλιά σε ένα άγριο και απόκρημνο βράχο, με φανταστική θέα.
Η Βυζαντική πόλη των Σερβίων ήταν έδρα επισκοπής από τον 8ο μ.χ αιώνα μέχρι τον 16ο περίπου αιώνα με καθεδρικό ναό την μεγάλη Βασιλική Εκκλησία του Αγίου Δημητρίου.
