南北朝が統一された後、北畠氏は伊勢国司としての地位を保ち、守護大名として室町時代を生き抜いていきます。往時の北畠氏の勢力範囲は、拠点である多気の地(美杉町)だけにとどまらず、およそ旧一志郡以南の諸地域に及び、隣国である伊賀国や大和国の南部をもその支配下におさめていたといわれます。また、永正18(1521)年頃の築造と推定される細川高国による北畠氏庭園跡が象徴するように、都からはるかに離れた多気の地に、京都や大和・尾張・美濃などを中心とした様々な文化や品物が流入しており、文化都市的な色彩も強くうかがわれます。しかし、天正4(1576)年、伊勢国司北畠家も時勢には逆らえず、織田信長の天下布武の動きの中で侵攻を受け、ここに約240年続いた多気北畠氏の歴史は幕を閉じることになりました。当時は華やかな場所だったので遊郭の跡地もあります。