邳之战后，归顺曹操。此后随曹操征讨，战功累累。与关羽同解白马围，降昌豨于东海，攻袁尚于邺城，率先锋在白狼山斩杀乌桓单于蹋顿，又讨平辽东柳毅、淮南梅成、陈兰等。
濡须之战后，曹操任命张辽、李典、乐进等守合肥。张辽多次击退孙吴进攻，在215年的逍遥津之战，更是以七千之众大破十万大军，差点活捉孙权，经此一役，张辽威震江东，声名大噪，成为历代推崇的名将之一，‘张辽止啼’也成为民间流传的传奇故事。
曹丕登基后，仍令张辽守御孙权。221年，张辽屯驻雍丘，染病。张辽大病期间，孙权依旧对其非常忌惮。222年，张辽不负众望，抱病击破吴将吕范。同年在江都病逝，谥刚侯，享年五十四岁。后世将其与乐进、于禁、张郃、徐晃并称为曹魏‘五子良将’。
在叶天心中，这是一个有勇有谋的人，或许在武力上，许褚要胜过他一筹，但如果二人带兵打仗，许褚万万不是他的对手。
猛将在前，叶天可不敢含糊，拱了拱手，突然正色道：“恕在下多言一句，鸿鹄之志欲将飞，壮志终酬安乃归，张都尉委屈啦。”
张辽因为人正直，公私分明，不善媚上，吕布又整天窝在温柔乡，令他虽有安平天下之志，拨乱反正之能却英雄无用武之地，故一直未有机会提升。