加上柳氏的各种挑拨，林氏和安平侯之间就有了隔阂。不过，安平侯还是很喜欢林氏，加上林氏的父亲神策将军屡立战功，因此，那个时候林氏还是稳稳压住柳氏一头的。

叶清浅出生后，久而久之，林氏发现自己的女儿似乎有些反应迟钝，于是将全部精力放在了女儿身上，安平侯以为柳氏还在和自己怄气，就经常去柳氏那里刺激林氏，没想到林氏却以为安平侯嫌弃自己生了个傻女儿，两个人隔阂越来越深。