相传，宋代有个叫单福的石匠，想在自己家乡门口的江上建造一座桥，但叹息没有帮手。他膝下只有一女叫小姣，知道父亲的心思，便要求帮忙。单福经不住女儿苦苦哀求才含泪点头。他还把三个徒弟找来帮忙一起干。由于苦累难忍，大徒弟和二徒弟先后溜了。单福和女儿、三徒弟为修桥铁了心，继续风里雨里苦干着。但好几年过去了，运到江边的石头只有一小堆，桥也建不起来。小姣一咬牙，身插“捐身修桥”的草标，坐到江边石堆旁。这天来了个瘸子。身背一把扇子，摘了草标，问小姣愿不愿意跟他走，小姣回答说：“什么时候把大山里开采的石头全运到江边，就什么时候跟你走。”这瘸子原来是铁拐李。他挤出人群，腾云驾雾，很快来到百里外的大山，从背上拿下扇子，对着单福和三徒弟开出的石头就扇。石头竟都飞了起来，又纷纷都落在江边。单福和三徒弟也被从山上扇到了造桥工地。铁拐李还怕不够，又对身下立着的一块巨石扇了三扇子，他就站在那巨石上飞到了江边。只见底下尽是人，未敢让巨石落下。又听单福大声说：“石头够了”。他便驾起云头，飘游起来，游到黄山，见黄山风景秀丽，便将石头落下。从此，这飞来石就给黄山增添了绝妙的一景。
远观飞来石
