此后，惠能与昙璀在上爱岭的龟咀岩住了下来。
这两位在患难之中同住孤峰的同道中人，平时一起下山，去帮村民干活，耕田耙地，无所不干。找到食物，一起分吃。找到泉水，共同品尝。遇到困难，商量解决。平时他们在一起时更多的是谈经论义，交流禅法。
三年之后，昙璀从往来的商旅处得到了消息：他所受牵连的冤案得以澄清，官府已经撤销了对他的通缉令。昙璀觉得这里地广人稀，自己的所弘扬的禅法基础并不深厚，在这里拥戴自己的信众比不上北方那么多，便决意重返北方，弘扬佛法。
惠能虽然舍不得这位与自己朝夕相处的佛门好友离开，但也知道人各有志，不可强求。昙璀重返北方，对于佛学的弘扬与广泛传播确实是一件大好事，于是并不出面阻拦。
昙璀在临行时将法融所著的《绝观论》《心铭》等手抄本送给惠能，道：“这些经书，是我多年的心血。现在我留给你，先祖的修禅心得对你是有好处的。我虽然不清楚你的过去；但跟你谈禅论道时，我有一种隐隐约约的预感，你会有非比寻常的将来。”
在送别了昙璀之后，那些难得的经书伴随着惠能度过了数不清的日日夜夜。
惠能的悟性本来已是极高，并且又得到五祖弘忍的真传。加上与法融弟子昙璀三年的相处，切磋经义，研论佛道禅学，这对他的修悟佛性、通晓法理起了很大的促进作用。
其后的公元677年，当惠能离开冷坑上爱岭、即将踏上前往广州的征途时，还专门烧上一炷香，神色庄严地将昙璀临别时赠送给他的《心铭》与《绝观论》诵读了一遍。
怀会大地有得天独厚的地理环境：是两广交界之地，被重峦大山所封闭，交通的不便使它成了极少有外来者涉足的一方净土。这里的特点是山高、林密、人稀，容易隐藏与逃逸，可进可退。换句话说，当时这里是“山高皇帝远”的蛮荒之地。而惠能栖身的龟咀岩在高山之巅，岩里有长年不涸的山泉滴水，一望无涯的连绵大山中有数不尽的可以充饥的野果。
这里也有独特的人文环境：是瑶族与汉人杂居之地，友好善良，民风淳朴，人与人之间和睦相处。这里的山民不像中原地区对传统佛教思想的信仰那么根深蒂固，反而，对自己所倡导的顿悟禅学思想更易于接受。
惠能为人正直善良，乐于助人，不求奢侈荣华，只求清远淡泊，生活俭朴，与周围的樵夫、猎人、药农相处得十分融洽。
村民与山民们有病就上山来找这位“卢居士”，而惠能则不分白天黑夜，刮风下雨，都是有求必应，经常采药替人治病。
有一天，惠能从龟嘴岩处下山来，与一位猎人卢九同行往村庄走去，准备和村民们相聚。忽然，望见村口处来了十多位手持刀剑的陌生人，一个个长相都是凶神恶煞，正在跟乡亲们说着什么。
惠能离他们虽然有十多丈远，但从山风吹来的声音，依稀听得出，他们说的是北方口音的话。而被问话的乡亲一会儿用手指着自己的耳朵，继而猛地摆手，示意听不懂。
“啊，这些陌生人全都是秃顶的和尚，人人手中都是执着明晃晃的兵器。难道他们是？”一种不祥之兆立即紧攫住惠能的心。警惕性特高的惠能，立即从身边的猎人卢九处取过一条布围巾，戴在头顶上，操起狩猎的器械，然后才用手扯了扯身边的猎人卢九，道：“来者不善，善者不来。看来，那一伙人气势汹汹而来，好像是在追杀什么人来的。我们还是躲避为上。”
猎人李卢听后点了点头，与惠能朝着另一边山坳快步走去，仿似猎人在追击猎物一样。
那些陌生人是神秀的手下，他们对五祖弘忍将袈裟衣钵传给那位名不经传的寺中杂役惠能之事很不服气，立心去除掉他，故此结伙南下。当他们发现不远处的惠能与卢九掉转方向，朝着另一边山坳走去，便呐喊着，撒腿从后面紧紧追赶而来，没有多久，已在山坳口追上了惠能与卢九，十多个僧人举起了寒光闪闪的刀剑，将惠能与卢九团团围住。
领头的和尚长得三大五粗，一瞪起眼睛有铜铃般大，叱喝道：“你们见到我们为什么要逃跑？”
卢九尽管听不懂那和尚操着北方口音的话，但从他们那副怒目睁眉的神态已推知出对方的质问内容，便说：“我们不是逃跑，而是发现山坳这边的荒草有狐狸出没，我们在追猎狐狸。”
由于李九回答时的话是冷坑、马宁一带的土话，因此那群北方来的和尚听后眨眉眨睛，有的搔着脑袋，有的来回摆着手，表示听不懂，却摆出一副气势汹汹的样子。有些和尚还把利刀在惠能与卢九的面前晃动着。他们七嘴八舌，吵吵嚷嚷，比划着手势，在追问。
惠能曾在湖北东禅寺住过八个月，在他所住的禅房四周都是来自天南地北的人，什么地方的人也有，惠能平日不仅听得懂他们所讲的话，而且还会学讲了几句。现在，从这些北方僧人的话，惠能知道他们专程从北方南下的来意：现在发问，有没有见到名唤惠能的居士来过这里。北方僧人声称，若然告知线索，让他们捉住惠能，就会有金钱重重奖赏。
面对冲着自己而来的北方杀手，惠能镇定自若，脸上却是一副茫然不知的神态，用冷坑、马宁一带的土话，向北方的寺僧作答。
那一伙北方来的和尚，只是听到李九与惠能满口的“叽哩呱啦”的回答。双方之间的问话与答话，简直是对牛弹琴。他们千里而来，为的是要追杀惠能。现在却是人在面前不相识。
这事说来奇怪，但仔细分析起来却并不奇怪：皆因惠能当年在湖北东禅寺时是一个尚未落发的行者，并且是个偏于南院一隅专干种菜舂米粗重活的杂役，不像神秀那样出头露角、是人人认识的寺中要人。
平日，站在五祖身旁高台上没有惠能的份，东禅里重大法事的念经诵佛又没有惠能的份。东禅寺有近千人之多，寺里的和尚大多数都互不认识，更遑论这么区区一个干杂役的下等人？
这次，前来搜查追杀惠能的和尚全都来自北方。在东禅寺与惠能从未谋面。他们只不过是奉命南下罢了。在他们脑海的印象中，寺院里的和尚与杂役都没有被太阳直接照晒，故此皮肤一定是白皙的。而五祖弘忍连夜传授禅法与袈裟衣钵的惠能，让他执掌禅宗权杖，非比寻常；这个人一定是英俊魁梧，相貌堂堂。而现在面前的这个人又黑又瘦小，与他们想象之中的禅宗祖师相差甚远。
惠能因为长期与山民们一起劳动，一起上山下水，一起耕田种地，所以无论是生活习惯，还是皮肤颜色，差不多已经同化了。所以，北方僧人做梦也想不到，在众目睽睽之下，面前这个瘦黑“土佬”竟然就是他们跋山涉水，历尽艰辛要追杀的人。
双方语言差异太大，无法交流。这伙人听起冷坑、马宁一带的土话，犹如鸡同鸭讲，也是没法听得懂。你望着我，我望着你，大家都是摇头叹息，一脸的无奈。
机敏的惠能明明听懂他们的话，却在整色整水，诈作听不懂，并且不时做着手势，向他们示意：他俩是本地人，是叔侄关系，现在是要上山去打猎。从来未见过他们要追杀的什么“带着袈裟金钵南逃的惠能”。
卢九也做着手势，示意他与惠能是同姓叔侄。
惠能的打扮与举止确实像当地的土人，将那些北方僧人糊弄了。
扭尽六壬，也没有办法在惠能与山民口中挖出半点有用的线索，北方南下的那伙和尚干瞪眼也是无济于事，只好灰溜溜地离开上爱岭，沿着山道往广西方向走了。
目睹着北方僧人们的身影消失在远处的山中，卢九向惠能喃喃地说：“这些和尚真怪，追杀什么禅宗六祖怎么跑到我们上爱岭来了。”
而惠能心中暗暗地长吁了一口大气，这一次不但是天助我也，而且也是乡亲们助我也。
怀集冷坑上爱岭真乃佛家圣地。
惠能“智避贼人”的故事在怀岭大地广泛流传。