姫山の地に初めて砦が築かれたのは1333年、赤松氏の時代といわれています。以来、13氏・48代が城主を務め、戦塵にまみれることなく今日にいたっています。
赤松氏の後、西国統治の重要拠点として羽柴秀吉、池田輝政、本多忠政が城に夢を託して拡張、いま見られる全容が整ったのは戦乱の世が落着いた1617年のことです。