在寒山渔村居住下来。寒山渔村紧邻大海，海中大鱼甚多，而巨猿极为聪明，捕鱼对他来说易如反掌，是以我不必担心食物不足。后来巨猿在村子中挖掘了一个地穴，与四头猴崽子住在地穴之中，每日里不是在海边捕鱼，便是呼呼大睡，日子过得甚是逍遥。我看到巨猿如此模样，暗想他在大雪山山顶的石洞中居住，必定不如现在这般逍遥自在，是以不愿意离开寒山渔村，重返大雪山山顶。可见人也好，野兽也罢，都盼着享福，谁也不想在苦寒之地吞风饮雪，而且一旦过上了好日子，再也不想沦落到旧日困窘的境地。
“我在寒山渔村居住之后，每日依照阴阳诀大法的法门吐纳呼吸，打坐练气，不出数月，体内的至阳和至阴真气减弱了许多，心中甚是高兴，暗想如此下去，不出四五年，必定能够将体内的至阳和至阴真气化解，从此不再遭受折磨。只是没想到在寒山渔村住了半年之后，突然有一伙人闯进了寒山渔村。其时正当午时，巨猿一家在地穴中歇息，这伙人将我围了起来，逼问我说出师父他老人家躲在哪里！”