饱打必比适才更是厉害，当下奔向山崖，直往山上爬去。
武敦儒鼻上虽吃了一拳，其实并不疼痛，但见到鲜血，又是害怕，又是愤怒，提气急追。杨过越爬越高，武氏兄弟丝毫不肯放松。郭芙却在半山腰里停住脚步，仰头观看。杨过眼见前面是个断崖，已无路可走，他是个行事偏激之人，心道：“我纵然跳崖而死，也不落在这两个小子之手受辱。”转过身来，喝道：“你们再上来一步，我就跳下去啦！”
武敦儒呆了一呆，武修文却道：“要跳就跳，谁还怕了你不成？”说着爬上几步，杨过气血上冲，正要涌身下跃，一瞥之间，忽见身旁有一块巨石，似乎安置得并不牢稳。他盛怒之下，那里还想到甚么后果，伸手将大石下面石头搬开，那大石果然微微摇动。他跃到大石后面，用力一推，大石一晃，空隆一响，向山腰里滚将下来。
武氏兄弟见他推石，心知不妙，吓得脸上变色，要待闪避，却已不及，眼见那大石带着无数泥沙，从头顶滚下，一时之间手足无措，突然背后一紧，身子腾空而起，但听得嘘嘘两声雕鸣，身子已飞越山顶。原来两头雕儿在空中翱翔为戏，见到巨石滚下，竟然救了二人。那大石砰彭巨响，一路上压倒许多花木，滚入大海中去了。
黄蓉在屋中听得雕鸣声急，又有极响的异声，急忙奔出屋来，但见泥沙飞扬，女儿藏在山边草里，吓得哭也哭不出来，两头雕儿抓着武氏兄弟，轻轻落在她身前，昂头振翅，似有表功之意。黄蓉纵声上前抱起女儿，问道：“甚么事？”郭芙伏在母亲怀里，哇的一声哭了出来，哭了半晌，才抽抽噎噎的诉说杨过怎样无理打她，武氏兄弟怎样相帮，杨过又怎样推大石压死二人。她将过错全推在杨过身上，自己踏死蟋蟀，武氏兄弟打人之事，全瞒过了不说。黄蓉听罢，呆了半晌，做声不得。
这时郭靖也奔了出来，见武敦儒脸上衣上都是血迹，不禁吃了一惊，问起情由，心中好生烦恼，又怕杨过有甚不测，忙奔上山巅找寻。那知山前山后找了一遍，竟不见他的影踪。他提高嗓子大叫：“过儿，过儿。”始终未闻回答。他在山顶这几下高叫，十余里内都能听到，但杨过并不出来。郭靖等了一会，越加担心，划了小艇环岛绕了一周，直到天黑，杨过竟是不知去向。
原来杨过推下大石，见神雕救了武氏兄弟，遥遥望见黄蓉出来，心知这番必受重责，当下缩身在岩石的一个缝隙之中，听得郭靖叫唤，却不敢答应。他挨着饥饿，躲在石缝中动也不动，眼见暮色苍茫，大海上渐渐昏黑。又过一阵，天空星星闪烁，凉风吹来，身上大有寒意，他走出石缝，向山下张望，但见精舍的窗子中透出灯光，想象郭靖夫妇郭芙武氏兄弟五人正在围坐吃饭，鸡鸭鱼肉摆了满桌，不由得咽了几口唾沫。但随即想到，他们必在背后数说责骂自己，不禁气愤难当。他小小年纪，黑夜中站立在山巅的海风之中，心中只想着一生如何受人欺辱，但觉尘世间个个对他冷眼相待，思潮起伏，只觉满腔的孤苦怨愤，不能自己。
其实他心中设想，却是错了。郭靖寻他不着，那里有心情吃饭？黄蓉见丈夫烦恼，知道劝他不听，也不吃饭，陪他默默而坐。夫妻俩竟闪坐一晚。次日天没亮，两人又出外找寻。
杨过饿了一天一晚，第二天一早，再也忍耐不住，悄悄溜下山来，在溪边捉了几只青蛙，剥了皮，找些枯柴，要烧烤来吃，他在外流浪，常用此法充饥渡日，此时他怕被郭靖见到烟火，当下藏在山洞中烧柴，一将蛙腿烤黄，立即踏灭柴火，张口大嚼，但笕鲜美无比。正吃之间，忽听洞外吱吱两声，接着瑟的一声响，正是蛇类游动之声。他咬着蛙腿，走到洞边，只见一只蛤蟆蹲在地下，对着一条三尺来长的花蛇，互相凝视不动，过了半晌，那花蛇突然窜起，张口往蛤蟆咬去。那蛤蟆咕咕两声叫，张口喷出一阵薄雾，同时身子微微一闪，避开了花蛇的这一扑。那花蛇受到毒雾，在半空打了个觔斗，翻身跌下，随即盘成一圈，昂首相对。
杨过看得有趣，心想蛤蟆身子粗笨，又没牙齿，居然能与这样一条不大不小的蛇儿相斗，倒也奇怪。但见一蛇一蛤相持不下，花蛇一扑一攻，蛤蟆总有法子反击。攻的变化百出，守的也是多方防御，花蛇齿牙虽利，竟然奈何牠不得。又斗了一顿饭时分，那蛇儿连中毒雾，行动迟钝，越来越落下风，到后来自知不敌，突然转身，溜入草丛中逃走了。那蛤蟆咕咕咕大叫三声，随后追去。
杨过见到蛤蟆的叫声与身法，心念一动，觉得这蛤蟆行动虽然怪异，但自己不禁对之有一种亲近之感，到底为甚么原因，却又说不上来。这一日他坐在洞中，耳听得郭靖叫唤“过儿，过儿。”他想：“你叫我出去打我，我才不出来呢”。
当晚他就坐在山洞中睡了，迷迷糊糊的躺了一阵，忽见欧阳锋走进洞来，说道：“孩子，我来教你练武功。”杨过大喜，跟他出洞，只见他蹲在地上，咕咕咕的叫了几声，双掌推出。杨过不知怎的，突然全身灵便异常，跟着他一招一招的练了起来，只觉发掌踢腿，无一不恰恰到好处。忽然欧阳锋一拳打来，他闪避不及，砰的一下，正好击中顶门，头上刻痛无比，大叫一声，跳起身来。
头上又是砰的一下，杨过一惊而醒，原来适才是做了一梦。他一摸头顶，撞起了一个疙瘩，不禁叹了一口长气，走出洞来，望着天边，但见稀星数点。挂在树梢，回思适才欧阳锋教导自己的武功，却一点也想不起来，他蹲在地下，口中咕咕咕的叫了几声，要将欧阳锋当时在湖州菱湖镇所传的蛤蟆功口诀，用在拳脚之上，但无论如何使用不上。他苦苦思索，一掌推出，说也奇怪，梦中随心所欲的发掌出足，竟然不知去向。
他独立山巅，望着茫茫大海，孤寂之心更甚，忽听海上一声，长啸隐隐传来，叫着：
“过儿，过儿。”杨过不由自主的发足奔下山去，叫道：“我在这儿，我在这儿。”他声音虽低，郭靖却已听见，急忙划艇近岸，离海岸尚有数丈，一跃离船，星光下两条黑影渐渐跑近，郭靖一把将杨过搂在怀里，只道：“快回去吃饭。”他心情激动，声音竟有些哽咽。
两人回到屋中，黄蓉预备饭菜给杨过吃了，对过去之事绝口不提。次日清晨，郭靖将杨过、武氏兄弟、郭芙都叫到大厅，又将柯镇恶请来，随即命杨过等四个孩子向江南六怪的灵位磕过了头，向柯镇恶道：“大师父，弟子要请师父恩准，跟你收四个徒孙。”柯镇恶喜道：“那再好不过，我恭喜你啦。”杨过与武氏兄弟先向柯镇恶磕头，再向郭靖黄蓉行拜师之礼。郭芙笑道：“妈，我也得拜么？”黄蓉道：“自然得拜。”郭芙笑嘻嘻的也向三人磕了头。
郭靖正色说道：“从今日起，你们四人是师兄弟啦……”郭芙接口道：“不，还是师兄妹。”郭靖横了女儿一眼道：“爹没说完，不许多口。”他顿了一顿说道：“从今而后，须得相亲相爱，有福共享，有难同当。你们四人如再争斗打架，我可不能轻饶。”说着向杨过看了一眼。杨过心道：“你自然偏袒女儿，以后我永不惹她就是。”柯镇恶接着将他们中各种门规说了一遍，都是些不得恃强欺人，不得滥伤无辜之类，那也不必细述。
郭靖又道：“我所学的武功很难，除了江南七侠所授的根基之外，全真派的内功，东南北三大宗的武功，都练过一些。为人不可忘本，今日我先授你们柯师祖的独门功夫。”
他正要传授口诀，黄蓉见杨过低头出神，脸上有一种说不出的怪异之色，不禁想起过去种种犯疑之事，心道：“他父亲虽非我亲手所杀，但也可说死在我手里，莫要养虎贻患，将来成为一个大大的祸胎。”心念一动，已有计较，说道：“你一个人教四个孩子太辛苦，过儿让我来教。”郭靖尚未回答，柯镇恶已拍手笑道：“那妙极啦！你们两口子可以比比，瞧谁的徒儿教得好。”郭靖心中也喜，知道黄蓉比自己聪明百倍，教导之法一定远胜自己，当下没口的称善。
黄蓉道：“咱们定个规矩，你不能教过儿，我也不能教他三人。这四个孩子之间。更加不得互相传授，否则差乱了功夫，有损无益。”郭靖道：“这个自然。”黄蓉道：“过儿，你跟我来。”杨过厌憎郭芙与武氏兄弟，听黄蓉这般说，可以不与他们同场学艺，正合心意，当下跟着她走向内堂。
黄蓉领着他进了书房，从书架上拿下一本书来，道：“你师父有七位师父，人称江南七怪，大师父就是柯公公，二师父叫做妙手书生朱聪，现下我教你朱祖师的功夫。”说着摊开书本，朗声读道：“子曰：学而时习之，不亦说乎？有朋自远方来，不亦说乎。”原来那是一部“论语”。杨过心中奇怪，不敢多问，只得跟着她诵读识字。
一连数日，黄蓉只是教他读书，始终不提武功二字。这一日读罢了书，杨过独自到山上闲走，想起欧阳锋现下不知身在何处，不禁倒转身子，学着他的模样，旋转起来。
他旋转了一阵，依照欧阳锋所授口诀，逆行经脉，只觉愈转愈是顺遂，一个翻身跃起，咕的一声叫喊，双掌拍出，登觉遍体舒泰，快美无比，全身立时出了一身大汗。他并不知这一番功夫，内力已大有进展。要知欧阳锋的武艺别创一格，虽非正宗，却是厉害之极的上乘功夫，杨过悟性奇高，纵然为时匆促所学甚少，但不知不觉之间，已走对了白驼山武功的途径。
自此之后，他每日跟黄蓉诵读经书，早晨晚间有空，自行到僻静山边练功。他倒不是想从此练成一身惊人武艺，只是每练一次，全身总是说不出的舒适畅快。原来白驼山武功走的是极邪极怪的路子，任谁只要一练上手，那武功就如附骨之蛆，在身子中极难驱除得出，越练越深，教你神魂巅倒，不能自己。大凡世上引人迷惑沉溺之物，如声色犬马，睹博射猎之类，均有此种特性。
他暗自修练，郭靖与黄蓉毫不知晓，黄蓉教他读书，不到一月，已将一部“论语”教完。杨过背诵起来滚瓜烂熟，但对书中经义，却衷心反对，时常提出疑难。其实黄蓉教他这些经书，自己也早感烦厌，只是心中隐隐觉得：“此人若是学了武功，将来为祸不少，不如让他学文，习了圣贤之说，于已于人都有好处。”她耐着性子教杨过读书，实是一片好意。“论语”读完，跟着就读“孟子”。
几个月一过，黄蓉始终不提武功之事。杨过甚是精乖见她不提，也就不问，独个儿在岛上越来越感孤寂，心知郭靖虽收他为徒，武功是诀计不肯传授的了。现下自己已不是武氏兄弟的对手，待郭靖再教他们一年半载，这两人与自己再动起手来，非死在他们手里不可，心中打定主意，一有机会，立即设法离岛。
这一日下午。杨过跟黄蓉读了几段“左传”，辞出书房，一个人在海边闲步，望着大海中白浪滔滔，心想不知何日方能脱此困境，眼见海面上白鸥来去，好生欣羡牠们的自由自在。正自神驰物外，忽听桃树林后传来呼呼风响，他好奇心起，悄悄绕到树后一张望，原来郭靖正在林中空地上教武氏兄弟拳脚。郭靖口中指点，手脚比划，命武氏兄弟跟着照学。杨过只看了一遍，早就领会这几招的精义所在，但武氏兄弟学来学去，始终不得要领。郭靖本性愚钝，知道其中甘苦，一点也不厌烦，只是反复教导。
杨过暗暗叹了口气，心道：“郭伯伯若肯教我，我岂能如他们这般蠢笨。”心中闷闷不乐，自回房中睡了。晚饭后读了几遍书，但感百无聊赖，又到海滩旁边，学着郭靖所授的拳脚，使将开来，只是将那两三招反复使来使去，自己也感腻烦，心念一动，“自明日起，我每日去偷学武功，有何不可？”想到此处，胸襟为之一爽，倚着岩石抱膝坐了一会，竟在石后迷迷糊糊的睡着了。
也不知过了多少时候，忽听得铁索声响，他一惊而醒，伏在石后睁眼一看，原来海边多了一艘帆船，那铁索声响是帆船下锚停泊。不久船中走出二人，一跃上岸，身形极是轻捷。那两人伏低身形，先四下张望一会，这才慢慢向岛中爬去。杨过见这二人鬼鬼祟祟，显然不怀好意，心想：“岛上道路曲折，盘旋错踪，你这二人是送死来啦。”然在远处见到一物，不禁吃了一惊，原来柳树下有一小小白衣人影，倒竖着身子不住旋转，瞧那身形模样，正是郭芙。
杨过见此情形，心下大奇：“难道郭伯伯也教她练这功夫？”他随即醒悟：“是了，必是我练功之际，教她悄悄瞧见了，于是依样儿玩。”此时那两个黑影已欺近郭芙身旁。
郭芙转得高兴，全未惊觉，二人突然跃起，将他抱住，一个伸手按住她小咀，另一个取出软索，将她缚住，在她口中塞了一块手帕。两人行动干净利落，瞬息之间，已将郭芙放在草丛之中，继续向前爬行。只把杨过瞧得张大了口合不拢来，心中怦怦乱跳，不知那二人是何用意。
杨过目光极为锐利，虽在黑暗之中，对二人行动仍是瞧得清清楚楚。但见这二人爬了一阵，将到进庄之路，似是知道桃花岛上黄药师布置的厉害，不敢再前，取出一张极大的白纸另一人用炭条之类在纸上绘图，原来是在偷绘岛上地形，以作日后进袭之用。杨过心下琢磨：“我若此时大声叫唤，郭伯伯未及出来，我已先遭毒手。”突然心念一动，打定了一个大胆无比的主意：“我偷入船舱之中，若是天幸不给发见，那就逃离此岛了。”心意已决，也不计较此事九死一生，有多大危险，当即悄悄爬向船边。
他正想溜上船，突然船舱中喀的一响。舱皮揭开，钻出一人，轻轻跃上海滩。杨过吓了一跳，急忙伏低身子。前面那二人似乎微有惊觉，一个抱起郭芙，另一个回头察看。船舱中出来那人伏在沙丘后，原来竟与先前那二人并非一路。杨过更在他身后，瞧得愈来愈奇。只见抱着郭芙那人回到了船里，另