高祖武德元年（618），李密失败后，魏征随其入关降唐，但久不见用。次年，魏征自请安抚河北，诏准后，乘驿驰至黎阳（今河南浚县），劝嵛李密的黎阳守将徐世绩归降唐朝。不久，窦建德攻占黎阳，魏征被俘。窦建德失败后，魏征又回到长安，被太子李建成引用为东宫僚属。魏征看到太子与秦王李世民的冲突日益加深，多次劝建成要先发制人，及早动手。
玄武门之变以后，李世民由于早就器重他的胆识才能，非但没有怪罪于他，而且还把他任为谏官之职，并经常引入内廷，询问政事得失。魏征喜逢知己之主，竭诚辅佐，知无不言，言无不尽。加之性格耿直，往往据理抗争，从不委曲求全。有一次，唐太宗曾向魏征问道：「何谓明君、闇君？」魏征回答说：「君之所以明者，兼听也，君之所以闇者，偏信也。以前秦二世居住深宫，不见大臣，只是偏信宦官赵高，直到天下大乱以后，自己还被蒙在鼓里；隋炀帝偏信虞世基，天下郡县多已失守，自己也不得而知。」太宗对这番话深表赞同。
贞观元年（837），魏征被升任尚书左丞。这时，有人奏告他私自提拔亲戚作官，唐太宗立即派御史大夫温彦博调查此事。结果，查无证据，纯属诬告。但唐太宗仍派人转告魏征说：「今后要远避嫌疑，不要再惹出这样的麻烦。」魏征当即面奏说：「我听说君臣之间，相互协助，义同一体。如果不讲秉公办事，只讲远避嫌疑，那么国家兴亡，或未可知。」并请求太宗要使自己作良臣而不要作忠臣。太宗询问忠臣和良臣有何区别，魏征答道：「使自己身获美名，使君主成为明君，子孙相继，福禄无疆，是为良臣；使自己身受杀戮，使君主沦为暴君，家国并丧，空有其名，是为忠臣。以此而言，二者相去甚远。」贞观二年（628），魏征被授秘书监，并参掌朝政。不久，长孙皇后听说一位姓郑的官员有一位年仅十六七岁的女儿，才貌出众，京城之内，绝无仅有。便告诉了太宗，请求将其纳入宫中，备为嫔妃。太宗便下诏将这一女子聘为妃子。魏征听说这位女子已经许配陆家，便立即入宫进谏：「陛下为人父母，抚爱百姓，当忧其所忧，乐其所乐。居住在宫室台榭之中，要想到百姓都有屋宇之安；吃着山珍海味，要想到百姓无饥寒之患；嫔妃满院，要想到百姓有室家之欢。现在郑民之女，早已许配陆家，陛下未加详细查问，便将她纳入宫中，如果传闻出去，难道是为民父母的道理吗？」太宗听后大惊，当即深表内疚，并决定收回成命。但房玄龄等人却认为郑氏许人之事，子虚乌有，坚持诏令有效。陆家也派人递上表章，声明以前虽有资财往来，并无订亲之事。这时、唐太宗半信半疑，又召来魏征询问。魏征直截了当地说：「陆家其所以否认此事，是害怕陛下以后藉此加害于他。其中缘故十分清楚。不足为怪。」太宗这才恍然大悟，便坚决地收回了诏令。