有一天，天竺国达摩求教他的师傅说：“我得法以后，应该到哪里去?”般若多罗说：“应该去震旦(中国)。”
达摩遵照师傅的嘱咐，整备行装，泛起一叶扁舟，漂洋过海，晓行夜宿，历尽艰辛，用了三年时间，来到中国。广州刺史萧昂闻讯，奏报金陵，梁武帝萧衍派使臣把达摩诏至宫廷，接风洗尘，待以上宾。
梁武帝问道：“我即位以来，造寺写经，度僧不可胜记，有何功德?”禅师答：“并无功德。”帝问：“为啥无功德?’禅师答：“这些都是你应该做的区区小事，好像影子一样，不是真功德。”帝问：“什么才是真功德?”禅师答：“是求之不得的圣谛之理。”帝又问：“什么是圣谛之理?”禅师答：“明心见性，体自空寂，这才是真功德。”帝又问：“你是什么人?”禅师答：“不知道。”
原来，梁武帝是小乘派，主张自我解脱：达摩是大乘派，主张普度众生，两人谈不到一块。所以，梁武帝很不高兴，达摩也自知机缘不契，预感南京不是他久留活动的地方，于是告辞萧衍，渡江北上。
达摩和梁武帝对话后，梁武帝深感懊悔，得知达摩离去的消息后，马上派人骑骡追赶。追到幕府山中段时，两边山峰突然闭合，一行人被夹在两峰之间。达摩正走到江边，看见有人赶来，就在江边折了一根芦苇投入江中，化作一叶扁舟，飘然过江。
北魏孝昌三年（527年），有说具体日期是十一月二十三日，西天竺国佛教禅宗第二十八代祖师菩提达摩，来到嵩山少林寺落迹，在五乳峰上的山洞中面壁修炼。达摩在中国始传禅宗，“直指人心，见性成佛，不立文字，教外别传”。北国的少林成了他落迹的道场。古人有诗赞日：
路行跨水复逢羊，
独自栖栖暗渡江。
日下可怜双象马，
二株嫩桂久昌昌。
这首偈语暗含了对未来的预言，“跨水”暗指达摩渡海东行，“逢羊”暗指他将在广州登陆，“渡江”说的是去北方传法，“二株嫩桂”暗指少林寺。嵩山成语故事系列之二十二“一苇渡江”
关于“一苇渡江”的解释，儒家有不同的说法。他们认为“一苇”并不是一根芦苇，而是一大束芦苇。因为《诗经》里面有一首《河广》，诗中说：“谁谓河广，一苇杭之。”唐人孔颖达解释说：一苇者，谓一束也，可以浮之水上面渡，若桴筏然，非一根也。这样的解释是比较科学的。
