那妃子膝下无子，起先对他还好，后来承宠怀孕诞下小皇子，对凤衡就冷落了不少。
凤衡年纪小不懂事，不明白寄养与血亲的区别，多次跑上去询问为什么娘娘不理他了。结果就是原本的宠爱没有找回来，反而更加招致妃子的厌烦。
后来那妃子连看都懒得看他了，反正皇帝从未过问这个儿子。凤衡似乎成了寄人篱下的一条野狗，独自住在荒僻的偏殿中。
下人们欺他年幼无知，克扣他的衣料米粮，生病了也懒得去找太医，随意弄点什么东西都有的草药，给他灌下就行，没死就算完事。
他命运的转机，出现在五岁时一场大病。
年幼的柳瑶跟着母亲，到那名妃子宫中闲话。她跟着太监宫女四处乱转，瞧见这座废弃的偏殿，好奇之下进来看了看，然后发现了几乎要被高烧烧死凤衡。
当时凤衡小小的一只，一个人缩在布满馊味的被子里，身边没有半个伺候的下人看顾。
柳瑶将这事告诉了她母亲，在场的太监宫女不少，消息不胫而走。
太后得知这件事，将皇帝劈头盖脸训斥一顿，亲自去那妃子宫中，将凤衡接了过来，说自己老来清闲，凤衡长得冰雪可爱，正好养个乖孙儿在身边逗一逗。
柳瑶误打误撞施出的援手，却让凤衡记住了这个长相灵秀的女孩。后来柳瑶的母亲时常带她来太后宫中探望，别的皇子瞧不上凤衡，柳瑶就成了他幼时唯一的同龄玩伴。
凤衡小时候不明白对柳瑶的感觉，只是待在宫中百无聊赖时，会很期待那个眉清目秀的小姑娘牵着她母亲的手出现
后来长大些明白了，却得知她早就意属定安侯府世子，两人家境相当青梅竹马，在皇城百姓眼中是一对天造地设的璧人。
柳瑶这两个字，和年幼时那段孤寂的岁月一起，在凤衡心里留下难以磨灭的印记。
他曾经以为自己很喜欢柳瑶，喜欢到不介意对方不喜欢自己，不介意她心里有萧络，不介意她嫁过太子。
然而，直到此刻，他登上了觊觎多年的位置，九五至尊人人敬畏，再没有人敢欺凌他蔑视他，他可以用强横的手段抢来他想要的一切——
他才猛然发现，实际上，他并没有自己以为的那么在意柳瑶。
所以，当对方拒绝了入宫的圣旨，故意跟他消磨，他没有产生什么志在必得的占有欲，只是轻飘飘应了一句，那就再等等看。
他对柳瑶很好，可是他逐渐发觉，与其说这种好是出于喜欢，不如说是放不下幼年那段时光的执念。如果圣旨送到丞相府时，柳瑶爽快答应了，他甚至不介意将后位送给对方。
那么他对晏瑾呢？
在耶律格之前，凤衡原本的打算，是将晏瑾从定安侯府弄进宫里。他会像饲养一个男宠那样关着他，但不会给他任何名分。
他要让晏瑾明白，自己的身份有多么下贱，永远只能生活在凤衡投出的阴影下，攀附着名为凤衡的大树，艰难痛苦地生长。