慧遠，本姓賈，雁門郡婁煩縣人。少年時代跟隨舅父在許昌、洛陽一帶學習儒學，對六經非常熟悉。長大一點後，他的興趣轉向了老莊玄學。由於智識超群，風度翩翩，那些名家大師也深為折服。
他很早就有了離塵脫俗的想法。二十歲那年，他想去江東和儒學大師范宣一起隱居，共同研習儒學。但因為戰亂，去南方的道路阻塞不通。隱居的夢想無法實現。
後來聽說道安法師在恆山弘揚像法，慧遠也跑去聽經聞法，對道安深為傾倒，覺得這才是值得自己追隨的明師，便和胞弟慧持一起出家，皈依了道安。後來跟著道安在女休山、陸渾山一邊耕種，一邊修習禪法，慧遠對這種農禪並作的山林生活非常歡喜。
慧遠大師
興寧三年，跟隨道安一起南下襄陽。在襄陽期間，聽道安講授《放光般若經》後豁然開悟，感嘆道：「儒道九流皆糠秕也！」認為中國的諸子百家之學都是些粗淺的糠秕，只有大乘佛法才是人類文明的精華。他這個觀點到晚年時已經改變，認為儒釋道三教是殊途同歸。
在襄陽過了幾年城市生活後，他還是想去山林隱居，便計劃和師兄慧永一起去道教勝地羅俘山。他們向道安辭別，但慧永得到了道安的許可，而慧遠卻沒有。慧永只好一個人上路，當他到達潯陽時，受到當地官員和信徒的誠摯挽留，還為他在廬山修建了一座精舍，他便放棄了去羅俘山的計劃。
太元三年（378），苻丕攻打襄陽，釋道安分散徒眾，慧遠也在分派之列。其他師兄弟去什麼地方，怎麼開展工作都有師父明確的交待，只有慧遠沒有得到任何指示，他感到不安，便請求師父作出訓示。道安說，以你的智慧我沒有什麼不放心的，將來的情況你自己拿主意就可以了。
離開襄陽後，慧遠的打算還是去廣東的羅俘山。
那麼，羅俘山究竟有什麼魅力能這麼吸引他們呢？
羅浮山
當時的羅俘山是南方的道教場所，山林靜謐，遠離塵世的紛擾，是眾多隱士出沒的地方。而與世無爭的山林生活是慧遠一直嚮往的。
當時從襄陽去羅俘山有兩條路可走，一條是水路轉陸路，從襄陽乘船下江陵，經潯陽過鄱陽湖，溯贛江而上，然後下船翻越大庚嶺和九連山進入廣東韶關，然後又順流南下到達羅俘山。這條路線的困難在於翻越大庚嶺和九連山，當時整個五嶺都是原始叢林，毒蛇遍地，瘴氣滿天，水土不服的人會在山中染病身亡。另有一條路線可以避開瘴氣和毒蛇，那就是海路，也是從襄陽乘船下江陵，然後沿長江東下到達出海口，換大船走海路到番禹（廣州）上岸，然後到達羅俘山。但是，走海路的費用太高，慧遠負擔不起，他不蓄錢財，是個窮和尚。而且當時海運技術很落後，遇到颱風很容易葬身大海。所以，慧遠只能選擇前一條線路。
他和胞弟慧持帶著幾十名弟子，先是住在荊州的上明寺。然後順江而下，到達潯陽，他和慧持先是去拜訪了自己的姑母道儀法師。慧遠的姑父曾是潯陽縣令，姑父去世後，姑母出家做了尼姑，法號道儀。她勸自己的兩位侄子留在廬山弘法。
然後，慧遠帶著弟子們上廬山，去西林寺拜訪師兄慧永。在上廬山時，他被山上優美的風景深深吸引，大為讚歎。慧遠一行的到來，讓慧永十分高興。慧遠問他，還願不願一起去羅俘山？慧永反問他，你覺得廬山不好嗎？慧遠說這裡也挺好的。那又何必一定要去羅俘呢？師兄勸他就留在廬山算了。慧遠考慮再三，確實喜愛這裡優美的環境，便決意留在廬山。慧永安排他們暫時住在龍泉精舍。
廬山
慧遠之所以選擇廬山可能還有一些別的原因。
當時東晉範圍內主要有兩大勢力。一個是長江下游的揚州，首都建康所在地，東晉王朝的核心區，長期以來由王、謝等世家大族掌控。另一個是長江上游的荊州，長期以來由桓氏家族掌控。東晉初年，王氏家族掌握朝政。王氏衰落後，桓氏家族的桓溫逐漸掌握了荊州的管理權，後來又征服了成漢，永和十二年又一度收復了洛陽。憑著武功，桓溫的權勢達到了頂點，差一點就篡晉自立。
慧遠到達廬山時，桓溫雖然已經去世六年，但桓氏家族仍然佔據著荊州。此時的揚州刺史是謝氏家族的謝安。而廬山所在的潯陽屬於江州，是荊州和揚州兩大勢力的緩衝區，又是南北交通的要道，如果操作得好，就可居中取勢，左右逢源。慧遠不像他的師父那樣主張依附國主來弘揚佛法。他的想法恰恰相反，覺得佛教應該遠離國主，置身事外，不要過多地參與政治。如果留在荊州就必然要依附桓氏家族。如果去江東就必然要依附王、謝家族。只有在兩大勢力的中間地帶--潯陽，才能獲得相對的自由。
當然，廣東的羅浮山更加遠離政治糾葛。但是，當時的廣東還是個蠻荒之地，經濟文化各方面都很落後。而且，羅俘山以道教人士居多，他們是一心求隱，沒有弘道的願望。而慧遠是要弘揚佛法的，一味求隱並不符合大乘菩薩的精神。所以多方考量之下，他選擇了廬山。
