第五十代桓武天皇の頃熊野鬼ヶ城を本拠地とした海賊多賀丸なる者がいた。三段壁もその頃は「みだんと呼ばれて海上を運行する船の状況を偵察したり果は魚群の様子等を岩頭に立ってみる壇から、「みだん」三段になったと云われる。鬼ヶ城を本拠地とする海賊の隠し洞窟として使用されたと思われるのは沖を通る大船がある朝忽然と消えたり燃えて改造から没していくのを見たと古い記録にある魔の沖と船夫達に恐れられたもの事実である。源氏平家が四回の屋島で対決し郡須の与一が扇の的を射た時点に於いては勝敗は何れのものとも判らなかった。当時熊野の武力を一手に収めて支配してみたかの豪傑武蔵坊弁慶の父第二十一世熊野の別当は陸兵の優秀な水軍を配下にもって源氏に決定的勝利をもたらした。前途の多賀丸も時の征夷大将軍坂上田村麻呂に征服されたが、その代表的な人物である。源平の主戦場は屋島沖の壇ノ浦になったが、魔の沖合いで源平の前哨戦が行われたが東白浜附近に今も尚平家の残党の末裔も数多く住んでいる。
熊野では室町時代から江戸時代にかけてすばらしい大型の軍船が活躍していた。「あたけぶね」または「あたぎぶね」と呼ばれた安宅船である。大きなものは二千石、小さいものでも五百石積で、50丁から160丁の艪を備えた。二千石船になると鉄砲玉を防ぐため、船の前後左右を厚い木のタテで囲み、タテの一枚一枚に蝶番をつけて自由に開閉できるようにしていた。戦いではこのタテを開いて一斉に鉄砲や矢を放って攻撃したが、艪を漕ぐ水夫百人以上、戦闘用の武士百人以上が乗り組み、大将が指揮するさしずめ旗艦だった。その軍船のふるさとが古くから西牟婁郡白浜町安宅と言われている。南北朝時代の中ごろ、ここに本拠を置いた安宅一族は阿波、淡路、紀州にまたがる紀伊水道を抑え、熊野水軍の一時代を作り上げたという。