大的武元衡不同，裴度的个头很矮，长得又其貌不扬，刚入仕途时总被人欺辱。有一次，裴度在曲江饮宴，又受了十多个禁军军官的气，于是派人向好友尚书胡证求救。胡证身材彪悍，不怒自威，得报后，突门而入，诸军官失色。胡证与诸军官拼酒，先是按军官们设定的酒令，一次一杯，几轮过后，面不改色。随后，胡证叫众军官按他的酒令，输一次喝三杯。很快，就把那十几个军官喝倒。众军官知道遇见厉害的主儿了，一起拜倒在地，胡证则大声怒喝：“尔等鼠辈，安敢欺负裴度！”
裴度的宅子在通化坊，就在朱雀大街的边上。当裴度骑马刚出东门时，就被刺客堵住。刺客第一剑断裴度的靴带，第二剑刺中后背，第三剑砍到脑袋上，以为裴度已死，所以刺客待其坠马，以取其首级。但此时，裴度的随从王义死死护住主人，刺客再挥剑，砍断王义的手，又将其刺死。裴度已滚到一边的沟里。刺客没有再查看，认为其必死无疑，于是呼啸而去。
他们想错了。
裴度虽头部中剑，但伤口不是很深。为什么？上朝出门前，他梳完头，随手戴上朋友前一天赠送的扬州毡帽。这种帽子比较厚，正是它保护了这位唐朝未来宰相的性命。自此以后，扬州毡帽畅销长安，因为被认为能给人带来好运气。
裴度的侥幸脱险对藩镇来说是个灾难。