南渡。李世辅的父亲李永奇，被迫接受了金人的任命，但是他始终心向大宋，聚众家人泣道：“我宋臣也，世袭国恩，无奈才降于金国！”并再三叮嘱李世辅：“汝若得乘机，即归本朝，无以我故贰其志。事成，我亦不朽矣。”
金元帅撒里曷来同州，世辅以计执之，驰出城，不幸舟船延误，追兵又多，一直无法脱困。李显忠只好与撒里曷折箭为誓，“不得杀同州人，不得害我骨肉，皆许之”，李世辅显忠放了撒里曷，赶紧通知父亲和家人出城逃难。当时大雪纷飞，老幼相扶，金国骑兵迅速追了上来，李氏家族有二百人余人不幸遇难，白雪染成了红色，李世辅和部下26人奋力逃脱，而他的父母妻子都死于金人的屠刀，“是日，天昏大雪，延安人闻之皆泣下”，南归无路，道路封锁，李世辅不得不投奔了党项人的西夏国。
在西夏，他以三千之众，大破“青面夜叉”的五万之兵，为西夏朝廷拔去了这颗眼中钉。随即，他引导西夏军二十万来到了延安城，而鄜延路已经复归宋室。李世辅见到了讲和赦书，召集了八百旧部，他抓住了那些杀害父母弟侄的凶手，一一砍下了他们的脑袋。
他要投奔大宋，而西夏不允，双方遂起冲突。李世辅“驰挥双刀，所向披靡，夏兵大溃，杀死蹂践无虑万人，获马四万匹”，他一路招兵，很快拥有马步军四万多人，“撒里曷在耀州，闻显忠来，一夕遁去”。李世辅显忠越过秦岭，回归宋室，四川宣抚吴玠这样赞扬他，“
六 驰援宿州(11/18)