虞世南字伯施，乃是虞世基的亲弟。但兄弟二人有着天囊之别，虞世基生活豪奢、欺上瞒下、鬻官卖狱、为非作歹，妻子穿衣都模仿王侯之家，虞世南虽同他们住在一起，却清贫节俭，不改变自己的性情，以德行、忠直、博学、文词、书翰五绝扬名。他被杨广授职秘书郎，后升为起居舍人。与虞绰、庾自直共撰《长洲玉镜》。

江都之变后，虞世南和大业帝的官员被迫和宇文化及北上，其他人接受宇文化及的官职，可他没