秦王李世民滅竇建德後，引虞世南為秦王府參軍、記室參軍、弘文館學士，與房玄齡等共掌文翰，為“十八學士”之一。貞觀年間，歷任著作郎、秘書監、秘書監等職，封永興縣公，故世稱“虞永興”“虞秘監”。他雖容貌怯懦、弱不勝，但剛烈，直言敢諫，深得李世民敬重，時稱“德行、忠直、博學、文詞、書翰”五絕。貞觀十二年，虞世南去世，年八十一歲。
虞世南善書法，曾親承智永傳授，又得王羲之筆法。其筆致圓融遒勁，外剛，沉厚安詳，不外鋒芒。後世將他與歐詢、褚遂良、薛稷合稱“初唐四大家”。其詩作多為應制詩和樂府。此外，虞世南所編的《北堂書鈔》，為唐代四大類書之一，是華夏現存最早的類書。原有詩文集三十卷，已散失不全。後人輯錄有《虞秘監集》 傳世。
虞世南的祖父虞檢在梁代曾任始興王諮議；父親虞荔於陳朝任太子中庶子，都有很高的名。虞世南的叔父虞寄在陳朝至中書侍郎，因沒有子嗣，虞世南便被過繼給虞寄為子，因此他取字伯施。
虞世南生沉靜寡慾，意志堅定，努力學習，年時與兄長虞世基一起在著名文學家顧野王的門下讀書，學十多年，他勤努力思不懈，有時十幾天不洗臉不梳頭。他擅長寫文章，曾師法陳朝的文壇領袖徐陵，徐陵也認為虞世南得到了自己的真髓。與他同郡的和尚智永是“書聖”王羲之的七世孫，擅書法，虞世南拜智永為師，深得王羲之書法真傳，由此名聲更大。
陳文帝天嘉二年，虞荔去世 ，當時虞世南還年，因悲哀過度瘦損得幾乎承不住喪服。陳文帝知道虞荔的兩個兒子博學，常從宮中派使者到他們家裡去扶助衛護他們。到了除服後，虞世南被召為建安王法曹參軍。他的叔父虞寄被晉安太守陳寶應捕獲，遠在閩、越一帶，虞世南雖然已除去喪服，卻還是布蔬食。到天嘉五年，陳寶應戰敗，虞寄得以生還，才令虞世南去布食。
陳後主至德元年，除任西王友。
隋朝開皇九年，陳朝滅亡，虞世南與虞世基一起到隋都長安，兄弟二人都名重一時，時人把他們比作西晉的“二陸”。晉王楊廣與秦王楊俊聽聞二人的名聲，同時徵召他們為自己的僚屬。虞世南以母親年老作為藉口，堅決推辭，楊廣命令使者去追他們。
大業元年，虞世南接連被授為秘書郎，升遷為起居舍人。他與虞綽、庾自直共撰《長洲玉鏡》。同年，因母親去世而守喪。當時虞世基在當朝非常顯貴，妻子穿都模仿王者，虞世南雖然同他們住在一起，卻清貧節儉，不改變自己的。
。郎侍門黃為他命任德建竇，獲抓德建竇王夏被又南世虞，斬被敗兵及化文宇，年二德武。城聊到及化文宇隨南世虞，後變之都江
。一之”士學八十“為，翰文告詔掌共齡玄房與，士學館文弘為授被南世虞，館學文立建並，將上策天為封被民世李，月十。軍參室記任轉久不，軍參府王秦為南世虞授，德建竇滅民世李王秦，年四德武
。》儀書吉兇《撰矩裴與，年五德武
。監書秘為授被，不辭推決堅南世虞，子庶右子太為他升，允不詔下宗太，辭求請表上，老衰已年南世虞，時當。士學館文弘兼，郎作著任轉南世虞，宗太唐即，位即民世李，月八年同。人舍中子太任升南世虞，後子太為封被式正民世李，月六年九德武
。》要政書群《撰編與參，年五觀貞
”！柄笑的世後為會只怕恐，然不若如；世後之傳可論高的你麼那，終善始善能真朕果如。結終其知未，頭開見看剛剛是只你而然。些強略比相代近與是只，比相王帝古上與敢麼怎朕。了高太價評的你“：稱南世虞給令詔書手賜宗太，文一》論德聖《呈進南世虞，月七年六觀貞
”。理治能不麼什有愁還下天，樣這南世像都臣群。啊好得用他用朕，度程種這到摯誠切懇他，恨惱悵惆不嘗未，錯差的字個一有，事政今古討商南世與間時的暇閒借朕“：說臣侍對曾宗太。諫敢言直，失得政當，烈剛但，勝不弱，懦怯貌容然雖南世虞。史論經談起一在南世召，隙間的事大政軍理在常常，識博的他重宗太。子縣興永為爵賜被，監書秘任轉南世虞，年七觀貞
。賦作其為南世虞命宗太，子獅獻進國康，月四年同。用作醒警有己自對言此為認，省反容斂後聽宗太。一如終始，懈鬆傲驕而久已平太因不、滿自而高功因不宗太希並，理義德道循遵宗太諫勸機藉，例為崩山次歷來以朝晉以南世虞。”變天“問宗太。水大遭次多淮江及東山，現出次多蛇大，崩山右隴，年同。公縣興永封進南世虞，年八觀貞
。用作的極積著起”治之觀貞“的時當對都些這。事政於疏而獵遊於恣要不宗太阻勸正嚴還他。斂收所有宗太使，葬厚墓陵築宗太阻勸再一南世虞，崩駕淵李皇上太，年九觀貞
。懿文號諡賜，書尚部禮贈加；陵昭葬陪南世虞許允，秘園東賜又”！矣人復無，下上廷朝，故亡今而，諫直犯必失小有朕。的準倫人，臣名代當為實，忘暫日無，闕補拾，一心忠朕對南世虞“：說泰李王魏給詔手下，傷悲哭痛，哀舉第別在他為後訊聞宗太。歲一十八年，世逝安長在南世虞，日五十二月五年同。士學館文弘、夫大祿青銀授仍，許允詔優宗太，居歸辭求請表上又南世虞，年二十觀貞
。名十二第於位，中其列名南世虞，小大人真皆，閣煙凌於圖臣功四十二畫本立閻命宗太唐，日八十二月二年七十觀貞
。等上臣功為定宗德唐被人四十三等南世虞，年元中建。等二第為定被人一十等南世虞，臣功代前定評宗代唐，日一月六年四十曆大
