为两位哥哥都是庶出，身份低微，母亲沈氏又一直对他心怀愧疚之意，渐渐王府里除了父亲姚崇，无人能压得住他。
他长大以后，特别喜欢军事，经常命令奴仆和家丁穿上盔甲相互刺杀，看到有人受伤或者被杀，姚吉就十分高兴。
乳母曾劝阻他，不许他这样胡作非为，结果却被姚吉命人杀害。
事后，姚吉感到后悔，又私下追谥他为慈训夫人。
在他眼里，自己是和太子、陈王站在一个层面的人，他们三个才是真正的姚氏子孙。
永王就藩以后，姚吉便经常便装出城，游乐打猎，还纵容手下掠夺封地治下百姓的财物，有时他甚至就站在大路中间放箭射人，看着惊慌的百姓四处逃避，姚吉觉得非常好玩。
荆州将军愤怒地向姚崇禀报说：“就这种情况，万一敌军来犯，如何能守城。若是世子再生是非，臣就得禀明圣上了。”。
得知这种情况的永王姚崇对儿子大力鞭笞，又处死了世子的几位手下，还在江陵下发罪己书，言自己忙于政事，对儿子疏于管教，约束不严，向百姓请罪，这才息了众怒。
不久，王府又送进来一个女子，说是公子之前派人去搜罗而来。
此女子名为杨影怜，取自“顾影怀怜”之意，她回头时，男人只是看到她的影子就会生出怜爱之意。
杨影怜不仅面目秀美，身姿妖娆，顾盼生辉，而且还能诗善画，被誉为“江南第一美女”。
永王看着这女子的容貌，心中也是一阵火热，但哪里有儿子看上的女人，老子再霸占了的道理，这女子如此模样，实在是祸非福，绝对不能留在世子的身边。