当众揭了皇上的老底，还以官位相威胁，可是大不敬之罪，皇帝无处宣泄的怒火顿时有了发泄之地，抓住这点不放，又获得李勣的支持，不但立了喜欢的人为皇后，还瓦解了长孙无忌集团。在众人的求情下，褚遂良保住了命，被贬为潭州都督。
有人诬陷褚遂良等人图谋不轨，而李治与武则天显然怒气未消，将褚遂良贬到了今天的越南。经过了几年的煎熬，褚遂良已经老态龙钟，十分希望得到李治的原谅。于是，他颤巍巍地提起笔，写了一封表奏。虽然书法仍然苍劲有力，但内容却又一次错位。
他将自己功劳一一列举，如何扶保李治登基，如何成为托孤大臣，如何辅佐朝政等等。这样的求情无异于自找苦吃，是在数落皇帝忘恩负义吗?求情哪有这么理直气壮的!如果只是承认冒犯天威，乞求皇帝放过自己，准许自己告老还乡的话，说不定还有一丝希望!太过可惜了。这样的求情无济于事，一年之后，褚遂良在绝望中郁郁而终。
李玄霸但是也心宽的很，言道：“功是功，过是过，李治遗诏准许褚遂良魂归故里，武则天临终前也同意恢复他的爵位，算是对褚遂良一生功绩的肯定！“
褚遂良工于书法，初学虞世南，后取法王羲之，与欧阳询、虞世南、薛稷并称“初唐四大家！”，李玄霸较为欣赏的有孟法师碑和雁塔圣教序。
隋开皇十六年，公元五百九十六年，褚遂良出身于名门贵族。父亲褚亮在隋朝官至散骑常侍一职，与虞世南、欧阳询等人为好友。褚亮因与杨玄感有交情，故在杨玄感起事被镇压后左迁为西海郡司户。大业十三年，公元六百一十七年七月，薛举称帝，褚亮被任命为黄门侍郎，褚遂良则做了薛举的通事舍人，掌管诏命及呈奏案章。
战神李玄霸深知，在唐高祖李渊建立唐王朝之后，其后派遣李世民平定西凉割据势力，却被薛举击败。薛举在东征长安途中病死，其子薛仁杲继位。同年十一月，李世民包围了薛仁杲驻扎在泾州的营寨。薛仁杲投降，被押往长安处决，而他手下的人被收编在李世民的麾下，褚遂良就这样入仕李唐王朝，开始了他的政治生涯。起初，褚遂良在秦王李世民那里做铠曹参军，李世民对褚遂良怀有好感。
武德四年，唐高祖命李世民掌握东部平原文、武两方面的大权，并且允许他在洛阳开府——天策府。同年，李世民成立了自己的文学馆，其中有十八名学士在做他的国事顾问。
褚遂良的父亲褚亮便是其中的一员，主管文学。在这样的环境中，褚遂良的学识与日俱进。尤其是书艺，在欧阳询与虞世南的指导下，更是出类拔萃，且具备了欧、虞二人所不具备的政治地位与社会名望。唐会要卷六十四史馆下，弘文馆的日常事务，就是由褚遂良来管理的，人们称他作“馆主”。
李世民发动了“玄武门之变”，随后被立为皇太子。八月，唐高祖禅让皇位，李世民登上了皇位，次年改年号为“贞观”，是为唐太宗。贞观三年，唐太宗下诏在隋末战乱时期的战场修建庙宇，以纪念功业，为死难战士祈福。其中在战胜宋金刚的晋州建立慈云寺，由褚遂良书碑。
褚遂良出任起居郎，专门记载皇帝的一言一行，虞世南逝世，魏徵将褚遂良推荐给李世民，太宗命他为“侍书”。
李世民曾广泛收集王羲之的法帖，褚遂良可以鉴别出王羲之书法的真伪，使得没有人再敢将赝品送来邀功。唐贞观十五年，褚遂良劝谏太宗暂停封禅。同年由起居郎迁谏议大夫，李世民每有大事，几乎都要向褚遂良咨询。
太子李承乾以谋害魏王李泰之罪被废，太宗欲立李泰，而褚遂良与国舅长孙无忌则极力说服太宗立第九子晋王李治为皇太子即唐高宗。
褚遂良以黄门侍郎的身份开始参预朝政决策。随后，他被皇帝派往全国各地，巡察四方，直接可以黜陟官吏。
当时，高句丽大臣渊盖苏文杀死了唐朝所册封的国王高建武，唐太宗想以此为借口亲自去征讨高句丽，此事遭到了褚遂良的反对，但是太宗没有采纳？
褚遂良又被起用为黄门侍郎。同年九月，被提升为中书令，成为继魏徵之后，与刘洎、岑文本、马周、长孙无忌一样在唐代政坛上起着举足轻重作用的大臣。
唐太宗李世民在弥留之际，将长孙无忌与褚遂良召入卧室，对二人说：“卿等忠烈，简在朕心。昔汉武寄霍光，刘备托诸葛，朕之后事，一以委卿。太子仁孝，卿之所悉，必须尽诚辅佐，永保宗社。”对太子李治说：“有长孙无忌和褚遂良在，国家之事，我就放心了。”于是命令褚遂良起草诏书。