还要闻名多了的，就是他那极招人非议身世。

卫桓的母亲卫氏，河间阜城人，原商贾金逊之妾，金逊闻颉侯好美色，遂将卫氏献之。

颉侯张岱欣然，笑纳。

卫氏入颉侯府，月余，传出孕信，堪堪八月后，产一子，这就是卫桓。

流言蜚语立即就出来了。有说卫氏孕期肚皮不小的，也有说此子初诞白净斤两十足不似早产的，如此种种，绘声绘色。总而言之，就是说卫氏进颉侯府就已经怀了孕。