以仁王は治承4年(1180)の宇治川の戦いで平家の軍勢に破れ討死したとされますが、誰一人遺体を確認した人がおらず、当時も生存説が流布していたそうです。以仁王逃避伝説は大内宿をはじめ、福島県や新潟県に複数存在しています。
高倉神社の大杉は社殿(本殿)の背後中央にある為、参道から直視すると社殿から3本生えているようにも見えます。