数学、星象、占卜，放眼整个大唐无出其右者。
他与和袁天罡私下写了一本《推背图》，以其预言的准确而著称于世，有一次他对太宗李世民说：
“臣仰稽天象，俯察历数，唐三世以后，武代李兴，现此人已在陛下宫中，为亲属，自今不过三十年，当王天下，杀唐子孙殆尽，其兆既成矣。”
李世民怕他泄露太多的天机，就让他切勿多言此事，这是因为帝王对于术数，向来是有一种又敬又怕的情结。一方面指望自己长生不老，江山万年，另一方面又担心别人窥探秘密，损及自己利益。
太宗李世民对他有了忌心，虽然让他供职太史局，十几年来，仍是一个六品的小官，李世民宁肯让许敬宗兼职太史令也不肯委职于他。
这太史局除了几个品级将仕郎常来办公外，平时很少有人前来，屋内的几个人看来了一个少年郎，还以为他走错门了，一个二十多岁的将仕郎站起来对安和说：
“嗨，少年郎，这是太史局，你走错地方了吧！“