齊衡的第一任妻子嘉成縣主是個心機頗深的狠角色，她為了嫁給齊衡設計毀掉了競爭對手榮飛燕的名聲，榮飛燕非常在意自己的名聲，因此自殺了。嘉成縣主雖然如愿以償的嫁給了齊衡，但是榮飛燕的哥哥為了給妹妹報仇，將嘉成縣主凌辱致死。嘉成縣主死后齊衡曾到盛府求取明蘭，但是遭到了拒絕。因為顧廷燁求婚在先。
后來齊衡又娶了內閣首輔申大人的孫女為妾室，婚后二人感情很好，申氏為齊衡生育了一雙兒女，齊衡也慢慢忘記了明蘭。可是后來爆發時疫，申氏和孩子都相繼感染時疫去世，又剩下齊衡一個人獨自生活。
在電視劇中齊衡娶了兩任妻子，但是在小說中，申氏去世后齊衡又續娶了第三任妻子。第三任妻子是慶寧大長公主的嫡孫女，身份高貴，長的很漂亮，知書達理，溫柔賢惠。可是當她為齊衡生了兩個兒子后莫名去世了，去世時不到30歲。第三任妻子去世后，齊衡獨自撫養兩個兒子，沒有再娶。