Η Βυζαντινή πόλη των Σερβίων διακρίνεται για το εξελιγμένο σύστημα οχυρώσεών της, το οποίο μπορεί να συγκριθεί επάξια με τα αμυντικά συστήματα σημαντικών πόλεων της εποχής, όπως η Θεσσαλονίκη, η Βέροια και οι Σέρρες. Η πόλη διαρθρωνόταν σε τρεις βασικές ζώνες: την Ακρόπολη, την Άνω Πόλη και την Κάτω Πόλη. Η Κάτω Πόλη φιλοξενούσε αγρότες και εργάτες, η Άνω Πόλη τη μεσαία τάξη, ενώ στην Ακρόπολη διέμεναν οι άρχοντες.

Το κάστρο των Σερβίων βρίσκεται στους δυτικούς πρόποδες των Πιερίων και ελέγχει στρατηγικά το πέρασμα από τη Μακεδονία στη Θεσσαλία και τη Νότια Ελλάδα μέσω των στενών του Σαρανταπόρου. Χτίστηκε κάπου μεταξύ 560 και 650 μ.Χ., πιθανώς κατά την περίοδο του Ιουστινιανού ή του Ηρακλείου, και οι περισσότεροι από τους διατηρημένους οχυρωματικούς τοίχους χρονολογούνται στη μεσοβυζαντινή εποχή (11ος-12ος αιώνας). Σε ορισμένα τμήματα των τειχών έχουν αναγνωριστεί φάσεις των πρώιμων βυζαντινών χρόνων, καθώς και σημάδια ανακατασκευών από αυτοκράτορες όπως ο Λέων Ε’ ο Αρμένιος και ο Ρωμανός Λεκαπηνός. Οι Παλαιολόγοι, επίσης, προχώρησαν σε εκτενείς επιδιορθώσεις κατά τους 13ο-15ο αιώνες.

Από τον 9ο αιώνα, μαρτυρείται η ύπαρξη της επισκοπής Σερβίων, που υπάγεται στη μητρόπολη Θεσσαλονίκης. Στα τέλη του 10ου αιώνα, το κάστρο καταλαμβάνεται από το Βούλγαρο τσάρο Σαμουήλ, αλλά το 1001 ανακτάται από τον Βασίλειο Β΄ τον Βουλγαροκτόνο, ο οποίος το 1018 καταστρέφει μερικώς τα τείχη για να αποτρέψει τη χρήση του από τους Βουλγάρους.

Το 1204, τα Σέρβια καταλαμβάνονται από τους Φράγκους, ενώ το 1216 περνούν υπό την κατοχή του δεσπότη της Ηπείρου Θεοδώρου Δούκα. Μετά τη μάχη της Κλοκότνιτσας (1230), ο Μιχαήλ Β΄ Δούκας καταλαμβάνει το κάστρο και επισκευάζει τα τείχη. Το 1257, τα Σέρβια περιέρχονται στον αυτοκράτορα της Νίκαιας Θεόδωρο Β΄ Λάσκαρη, και το 1341 καταλαμβάνονται από το Σέρβο Κράλη Στέφανο Δουσάν. Το 1350, ο Ιωάννης ΣΤ΄ Καντακουζηνός ανακαταλαμβάνει την πόλη, αλλά οι Οθωμανοί την καταλαμβάνουν το 1393. Κατά την τουρκοκρατία, η βυζαντινή ακρόπολη εγκαταλείπεται, ενώ η κάτω πόλη και το τμήμα έξω από τα τείχη πυκνοκατοικούνται.

Το 1745, η έδρα της επισκοπής μεταφέρεται στην Κοζάνη, και οι χριστιανικοί ναοί συνεχίζουν να λειτουργούν μέχρι τον 19ο αιώνα, χωρίς να μετατραπούν σε τζαμιά. Η ακρόπολη χρησιμοποιήθηκε μέχρι τον 20ο αιώνα, περιλαμβανομένου του Β’ Παγκοσμίου Πολέμου, και μέσα σε αυτή σώζονται ίχνη κτισμάτων, πιθανώς κατοικιών του διοικητή, στρατώνων και αποθηκών.

Το κάστρο εκτείνεται σε περίπου 100 στρέμματα και έχει ακανόνιστο σχήμα λόγω της ανώμαλης διάπλασης του βράχου πάνω στον οποίο βρίσκεται. Διαιρείται σε τρία άνισα τμήματα: την ακρόπολη, την άνω πόλη και την κάτω πόλη. Η Άνω Πόλη καλύπτει 20 στρέμματα, όπου σώζονται βάσεις κατοικιών και τείχη με σχήμα πολυγωνικό και πύργους. Η Κάτω Πόλη, 75 στρέμματα, περιλαμβάνει ερείπια σπιτιών και εκκλησιών, από τις οποίες τρεις διατηρούνται σε καλή κατάσταση: η Βασιλική Εκκλησία του 11ου αιώνα, η εκκλησία του Προδρόμου Ιωάννη και το μοναστήρι των Αγίων Θεοδώρων.

Στους πύργους του ιστορικού κάστρου των Σερβίων έχουν γίνει σημαντικές παρεμβάσεις, με στόχο την αποκατάσταση και ανάδειξη του μνημείου. Το κάστρο, το οποίο χρονολογείται από την εποχή του Ιουστινιανού και έχει ιστορική σημασία, έχει υποστεί αρκετές επισκευές κατά τη διάρκεια των αιώνων, αλλά τα τελευταία χρόνια έχει τεθεί σε εφαρμογή ένα ολοκληρωμένο σχέδιο αποκατάστασης.

Η ιστορία των Σερβίων, με την πλούσια αρχιτεκτονική και στρατηγική τους σημασία, καταδεικνύει την επίδραση που είχε η περιοχή στο πέρασμα των αιώνων.