有一天，天竺國達摩求教他的師傅說：「我得法以後，應該到哪裡去?」般若多羅說：「應該去震旦(中國)。」
達摩遵照師傅的囑咐，整備行裝，泛起一葉扁舟，漂洋過海，曉行夜宿，歷盡艱辛，用了三年時間，來到中國。廣州刺史蕭昂聞訊，奏報金陵，梁武帝蕭衍派使臣把達摩詔至宮廷，接風洗塵，待以上賓。
梁武帝問道：「我即位以來，造寺寫經，度僧不可勝記，有何功德?」禪師答：「並無功德。」帝問：「為啥無功德?』禪師答：「這些都是你應該做的區區小事，好像影子一樣，不是真功德。」帝問：「什麼才是真功德?」禪師答：「是求之不得的聖諦之理。」帝又問：「什麼是聖諦之理?」禪師答：「明心見性，體自空寂，這才是真功德。」帝又問：「你是什麼人?」禪師答：「不知道。」
原來，梁武帝是小乘派，主張自我解脫：達摩是大乘派，主張普度眾生，兩人談不到一塊。所以，梁武帝很不高興，達摩也自知機緣不契，預感南京不是他久留活動的地方，於是告辭蕭衍，渡江北上。
達摩和梁武帝對話後，梁武帝深感懊悔，得知達摩離去的消息後，馬上派人騎騾追趕。追到幕府山中段時，兩邊山峰突然閉合，一行人被夾在兩峰之間。達摩正走到江邊，看見有人趕來，就在江邊折了一根蘆葦投入江中，化作一葉扁舟，飄然過江。
北魏孝昌三年（527年），有說具體日期是十一月二十三日，西天竺國佛教禪宗第二十八代祖師菩提達摩，來到嵩山少林寺落跡，在五乳峰上的山洞中面壁修鍊。達摩在中國始傳禪宗，「直指人心，見性成佛，不立文字，教外別傳」。北國的少林成了他落跡的道場。古人有詩讚日：
路行跨水復逢羊，
獨自棲棲暗渡江。
日下可憐雙象馬，
二株嫩桂久昌昌。
這首偈語暗含了對未來的預言，「跨水」暗指達摩渡海東行，「逢羊」暗指他將在廣州登陸，「渡江」說的是去北方傳法，「二株嫩桂」暗指少林寺。嵩山成語故事系列之二十二「一葦渡江」
關於「一葦渡江」的解釋，儒家有不同的說法。他們認為「一葦」並不是一根蘆葦，而是一大束蘆葦。因為《詩經》裏面有一首《河廣》，詩中說：「誰謂河廣，一葦杭之。」唐人孔穎達解釋說：一葦者，謂一束也，可以浮之水上面渡，若桴筏然，非一根也。這樣的解釋是比較科學的。
