Χτισμένο στη θέση που άλλοτε υπήρχε η Αρχαία Ιθώμη σε όμορφη δασωμένη τοποθεσία στην ανατολική πλευρά των Αγράφων. Το Φανάρι, περίπου 16 χιλιόμετρα βορειοδυτικά της Kαρδίτσας, έχει χαρακτηριστικό του το γνήσιο μεσαιωνικό κάστρο, χτισμένο στην κορυφή ενός λόφου σε υψόμετρο 350 μέτρων, ενώ γύρω του απλώνεται η θεσσαλική πόλη.

Το κάστρο του Φαναρίου με τους έξι πύργους του, έκτασης μόλις 2,6 στρεμμάτων, ήλεγχε το πέρασμα από την Ήπειρο στη Θεσσαλία τόσο στην Βυζαντινή όσο και στην Οθωμανική περίοδο., ενώ το ύψος των τειχών του φτάνει τα δέκα μέτρα. Η κατασκευή του κάστρου χρονολογείται στον 14ο αιώνα μ.Χ αλλά μέχρι και τη δεκαετία του 1950 υπήρχαν ακέραιες οι επάλξεις του.

Mέχρι πριν από λίγες δεκαετίες το Φανάρι ήταν το κέντρο κεραμικής του νομού και λειτουργούσαν περίπου 80 εργαστήρια αγγειοπλαστικής. Παλιότερα, μέχρι το 1889, το Φανάρι ήταν έδρα Eπισκοπής – το Eπισκοπικό Mέγαρο βρισκόταν στη θέση του σημερινού δημοτικού σχολείου, που είναι ένα από τα πρώτα της Θεσσαλίας.

Έχει μακραίωνα ιστορία που ξεκινάει από τα προομηρικά, καθώς στην Ιλιάδα του Ομήρου αναφέρεται ότι οι κάτοικοι της Κλωμακόεσσας Ιθώμης έλαβαν μέρος στην εκστρατεία των Ελλήνων κατά τις Τροίας, ενώ στην περιοχή βρέθηκαν ερείπια αρχαίων ναών και μαρμάρινες αυλακωτές κολώνες.

Την περίοδο της Τουρκοκρατίας στο Φανάρι, κατ΄ εξαίρεση από τα άλλα χωριά των Αγράφων, κατοικούσαν και τούρκικες οικογένειες και λόγω του φρουρίου του και του τούρκικου στρατού που έδρευε εκεί, αποτελούσε το ορμητήριο των Τούρκων κατά των γύρω περιοχών.

Η πόλη του Φαναρίου υπήρξε πεδίο μαχών και κατά τη διάρκεια της ελληνικής επανάστασης, όταν ξεσηκώθηκαν τα Άγραφα. Η απελευθέρωσή του από τον τούρκικο ζυγό, ήρθε στις 18 Αυγούστου 1881, όταν ο γιος του Γεώργιου Καραϊσκάκη, Σπυρίδων, κατέλαβε το φρούριο με στρατό 7.000 ανδρών.

Έξω από τον Πύργο Iθώμης βρίσκεται τμήμα οχυρωματικού τείχους από την αρχαία πόλη.