有一天，天竺國達摩求教他的師傅說：“我得法以後，應該到哪裡去?”般若多羅說：“應該去震旦(中國)。”
達摩遵照師傅的囑咐，整備行裝，泛起一葉扁舟，漂洋過海，曉行夜宿，歷盡艱辛，用了三年時間，來到中國。廣州刺史蕭昂聞訊，奏報金陵，梁武帝蕭衍派使臣把達摩詔至宮廷，接風洗塵，待以上賓。
梁武帝問道：“我即位以來，造寺寫經，度僧不可勝記，有何功德?”禪師答：“並無功德。”帝問：“為啥無功德?’禪師答：“這些都是你應該做的區區小事，好像影子一樣，不是真功德。”帝問：“什麼才是真功德?”禪師答：“是求之不得的聖諦之理。”帝又問：“什麼是聖諦之理?”禪師答：“明心見性，體自空寂，這才是真功德。”帝又問：“你是什麼人?”禪師答：“不知道。”
原來，梁武帝是小乘派，主張自我解脫：達摩是大乘派，主張普度眾生，兩人談不到一塊。所以，梁武帝很不高興，達摩也自知機緣不契，預感南京不是他久留活動的地方，於是告辭蕭衍，渡江北上。
達摩和梁武帝對話後，梁武帝深感懊悔，得知達摩離去的消息後，馬上派人騎騾追趕。追到幕府山中段時，兩邊山峰突然閉合，一行人被夾在兩峰之間。達摩正走到江邊，看見有人趕來，就在江邊折了一根蘆葦投入江中，化作一葉扁舟，飄然過江。
北魏孝昌三年（527年），有說具體日期是十一月二十三日，西天竺國佛教禪宗第二十八代祖師菩提達摩，來到嵩山少林寺落跡，在五乳峰上的山洞中面壁修鍊。達摩在中國始傳禪宗，“直指人心，見性成佛，不立文字，教外別傳”。北國的少林成了他落跡的道場。古人有詩讚日：
路行跨水復逢羊，
獨自棲棲暗渡江。
日下可憐雙象馬，
二株嫩桂久昌昌。
這首偈語暗含了對未來的預言，“跨水”暗指達摩渡海東行，“逢羊”暗指他將在廣州登陸，“渡江”說的是去北方傳法，“二株嫩桂”暗指少林寺。嵩山成語故事系列之二十二“一葦渡江”
關於“一葦渡江”的解釋，儒家有不同的說法。他們認為“一葦”並不是一根蘆葦，而是一大束蘆葦。因為《詩經》裡面有一首《河廣》，詩中說：“誰謂河廣，一葦杭之。”唐人孔穎達解釋說：一葦者，謂一束也，可以浮之水上面渡，若桴筏然，非一根也。這樣的解釋是比較科學的。
