小孤贫爱好读书胸中常怀远大志向他落魄的时候曾经出家作道士当时武阳郡的郡丞元宝藏很欣赏他的抱负和才干于是召请他为自己的典书记。大业十三年也就是去年元宝藏举郡投降了李密李密于是改武阳郡为魏州依旧让元宝藏为魏州总管。其间李密认识了魏征对其华美的文辞很是喜爱当即召他为自己的元帅府文学参军掌理记室建立魏国后又擢升他为魏王府记室参军事。

这次秘密进攻李密叫上他为三军辎重营总管其中一应事宜都为他负责。