文朋好友，聚于巾子山巾峰饮酒。陈亮提出：“在此赏景饮酒乏味，不如搬之东湖，借郡中妓乐，边饮边歌，如何？”谢直第一个站出响应：“甚好，不知唐太守之意是否？”唐仲友大笑道：“诸兄若有雅兴，小弟怎敢不肯？”遂至东湖，唤来严蕊、王蕙、张韵、王懿、赵娟等官妓，吟诗弹曲，众宾兴致甚浓，流连忘返。
唐仲友、严蕊俩窃窃私语，聊题甚广，只闻唐仲友在问：“今朝进班两府，始广柑贡。严子来自橘乡，可知橙橘种类？”严蕊答道：“橘有榻橘、绿橘、乳橘、朱橘等，橙有青橙、绉橙、香橙等，柚有朱栾、香栾、蜜旦等，给予中书省、枢密院均为乳橘，人称天下果实第一也”。唐仲友夸道:“严子果真女中秀才，天下之事无所不晓。”严蕊道：“我本农家之女，视橙橘若家常便饭，有何称奇？不像你们做官的胸襟，‘不以物喜，不以己悲。居庙堂之高，则忧其民；处江湖之远，则忧其君。’”唐仲友又问:“此句出于何人之口？”严蕊回答是出自范仲淹的《岳阳楼记》，对其故事典故也能应答如流。唐仲友钦佩严蕊的才华，兴趣甚高，二人觥来盏出，视无人之境，畅饮不尽。
相传陈亮觉得赵娟甚为俏趣，色艺虽逊于严蕊，但另有一番情味。陈亮豪爽无比，视金钱如粪土，毫不吝啬，赵娟未曾遇见过如此富豪子弟，对其百倍趋承，两人情投意合，均有娶嫁之意。赵娟只因自己为官身，苦于无法落籍。陈亮道：“唐太守与我是同乡朋友，落籍之事包在我身上，尽管放心。”唐仲友为赵娟落籍时，他心想“小小年纪，入世甚浅。她哪里晓得陈亮家中空虚，近日挥金如土，这资是我所赠。”也许他一时出于好心说道：“你嫁与陈亮，要经得起冻饿才是。”赵娟是个聪明人，一听五色无主。唐仲友出于好意，根本没把此事放在心上，继而给赵娟批了脱籍文书。赵娟见了陈亮，言语冰凉。陈亮遂追问赵娟为何，赵娟道：“太守说嫁到你家就要有忍冻挨饿的准备。”陈亮一听，火冒三丈，认为唐仲友是在背地耍人。陈亮不与赵娟解释，也不与唐仲友辞别，竟独自到婺州找朱熹。此时朱熹任浙东提举，陈亮向他说明自台州来，把满腔怒火都发泄出来。朱熹听罢默然长久，觉得唐仲友自恃才高，却不该如此贬低自己。但又看陈亮怨气满腹，也许在搬弄是非。一转念，背后之言，未必为真。决定亲去台州一趟，了解实情。
南宋淳熙九年，台州知府唐仲友为严蕊、王惠等四人落籍，回黄岩与母居住。同年，浙东常平使朱熹巡行台州，时高炳如为唐部下，才不如唐仲友，唐亦颇轻之。朱熹来台州，高炳如即去诉说。此时，楼钥为台州府添差通判，此人厚德美政，朱熹向他了解唐仲友的所作所为，楼钥中肯评价，并劝朱熹宽容之。当唐仲友得知朱熹到台州，慌忙去迎接，已迟了些。朱熹验证了陈亮的话：“果然不把我放在眼里。”当日索取州印，交付于郡丞，说道：“太守不称职，听候处理。”听闻严蕊去黄岩探母，即派吏至黄岩，在郑奭家追到严蕊，收监候审。又因唐仲友的永康学派与朱熹的理学相对，朱熹连上六疏弹劾唐仲友，见他与严蕊走得亲近，便借“居官不存政体，亵昵倡流，有伤风化”为罪名之一弹劾他，并将严蕊投入狱中。
朱熹以为唐仲友风流倜傥，与严蕊必定有染。严蕊身单柔脆，一拷问即会招认与太守通奸实情，则可参奏唐仲友罪名了。谁知严蕊的苗条身躯犹如筋钢铁骨，系狱月余，任凭杖笞鞭打，遍体鳞伤，严蕊始终一语不及太守，只道：“弹唱吟诗侑酒有之，别无他事。”朱熹无奈，只好将她痛杖一顿，一边发严蕊去绍兴府审问，一边写本参奏皇上。
严蕊在监狱吃尽苦头，押至绍兴。绍兴太守也属程朱学派，一见严蕊姿色，便道“有色必无德”，进行严刑拷打，她遭手足夹棍，几番昏死。任凭被打得遍体鳞伤，体无完肤，严蕊还是咬紧牙关不愿屈服。朱熹便通过狱吏劝诱她：“你何不早招供，招认了犯淫，最重也就是杖罪，况且你已经断过杖，罪不重科，何为受此严刑呢？”严蕊道：“我自己只是一个低贱的歌妓，纵使真的与太守有越轨的行为，判刑也不至于死罪。然事情有则有、无则无，岂为保身躯，信口诬陷士大夫？我宁可死，要诬害人，断然不可！”狱吏肃然起敬，把话告之太守。太守是奉朱熹之意，只好吩咐再痛杖，押回监狱。
时淳熙九年七月，此事朝野议论，震动宋孝宗，孝宗认为唐仲友和朱熹是“秀才争闲气”，让二人平调。也幸亏王淮从中帮助，唐仲友避免了一场大风波。朱熹免去了浙东提举，严蕊无端地坐了两个多月的牢，方释放回台州。知情者无不为严蕊抱不平，连