宣彪自懂事以来，就跟随父亲辗转各地，并非避祸避仇，而是避仕。

他父亲宣秉字巨公，少修高节，显名三辅，也曾入京师做过小官，但在前朝哀、平时，宣秉见王氏据权专政，有逆乱的倾向，就辞去吏职。

按照时代风尚，这样的人辞官，往往会惹来更高一级的征辟，果然，二千石派人除宣秉为曹掾，宣秉称疾不仕。

等到王莽代汉建新后，需要天下名流来装点朝堂门面，听说了宣秉的名望，特令使者举