傳說山裡有著美麗的仙人，若是誤入山中禁地，便會被從裡頭送出來。山裡的仙人並不傷人，甚至有人入了山中受了傷，也會被包紮好了送下山來。仙人有兩位，一位總穿著鮮豔的紅衣，另一位則喜愛乾淨的白衣，因此山名便依著兩位仙女，命名為赤雪山。