Wikipediaページより正平年間になると、南朝方の軍勢は、北畠氏と楠木氏だけになっていた。そして正平3年/貞和4年1月5日(1348年2月4日)、四條畷の戦いで楠木正行が討ち取られ、正行を破った北朝方の高師直は吉野へ攻め入り、皇居に火を放った。急報を受けた顕能は500騎を率いて多気より進軍し、警戒した足利氏は退却した。顕能は弘和3年/永徳3年7月28日(1383年8月27日)に58歳にして多気山荘にて亡くなった。元中9年/明徳3年閏10月5日(1392年11月19日)、明徳の和約にしたがって南北朝が統一された。しかし明徳の和約で約束されていた両統迭立は称光天皇の即位によって破られ、応永22年(1415年)春に北畠満雅は阿坂城から挙兵した。この頃の霧山城に関連する記録としては、正長元年(1428年)7月に小倉宮聖承が京都嵯峨から逃亡し、同年7月16日(8月26日)に室町幕府は多気付近にいることを確認、更に同月19日(8月29日)には少なくとも同月10日(8月20日)から多気より奥にある興津(現・津市美杉町奥津)に潜んでいることを突き止めた、ということのみである。小倉宮は翌正長2年(1429年)3月まで霧山城でかくまわれていたが、その後行方不明となった。永禄(1558年 - 1570年)末期になると、織田信長が北勢(伊勢国北部)に侵攻してきたため、霧山城に次ぐ要衝であった大河内城へ本拠を移した。霧山城には城代として北畠政成を残した。さらに木造城(こつくりじょう)主の木造具政は北畠本家に対して永禄12年(1569年)5月に謀反を起こし、同年8月には信長が木造城入りした。そして北畠と織田の戦闘が阿坂城とその支城の高城、そして船江城を舞台に繰り広げられ、同年8月28日(10月8日)には大河内城の戦いが始まった。この戦いでは、50日に及ぶ籠城戦の末、信長の子・織田信雄を北畠具房の養子にするなどの条件で和睦した(大河内城の戦い)。天正3年(1575年)、信長は具房を隠居させ、信雄を大河内城から度会郡の田丸城へ移した。そして翌天正4年(1576年)11月、信雄は討主に命じて多気郡の三瀬御所を攻撃させ、北畠具教と北畠一族の13人を殺害し、事実上北畠氏は滅亡した。三瀬御所で具教が殺害された直後、霧山城にも羽柴秀吉・神戸信孝・関盛信らが率いる大軍が送り込まれ、城代の政成は必死に防戦したが、城館を焼き払われ、落城した。(三瀬の変)