可以說，齊衡的三任妻子的身份都十分顯赫，但三任妻子卻沒有一人能陪他終老。齊衡的第一任妻子是嘉成縣主，新婚后不久就死在了“申辰之亂”，可以說是非常凄慘了。
齊衡的第二任妻子便是南京申氏大族的嫡女，他們那個家族對齊家有恩，齊家能到如今的高位都是晉南申家提攜的。而齊衡和第二任妻子成婚之后，曾有一對龍鳳胎，原本應該幸福美滿的生活下去的，沒想到他們去閩南赴任的時候染上了瘟疫，只有齊衡活了下來，不過對于齊衡來說，或許還不如死掉呢。
之后，齊衡又娶了第三任妻子，也就是慶寧公主的嫡孫女，正是因為娶了他的第三任妻子，齊衡才能繼承爵位，不過，他的第三任妻子也是一個短命的女人，為齊衡生下第二個兒子以后便去世了。
三個妻子都早逝，對于齊衡來說應該是有苦難言吧，畢竟他克妻的傳聞愈演愈烈，于是他便沒有再娶妻，即便他最后做到了在事業上很高的成就，但終究沒有一個女人陪她終老。
當初他喜歡盛明蘭，卻因為種種原因讓兩人錯過，如果當初是盛明蘭嫁給了齊衡，或許齊衡的結局就不會那么凄涼，但終究是沒有如果。