霍光這個人和衛氏家族有著諸多的關系，他是在霍去病的提攜之下才走上了仕途，先是任郎官后來又官至曹官以及侍中，他的仕途如果沒有衛家的人的提攜就不會是如此的坦途，雖然他個人也很努力但是與衛家人的幫扶分不開關系，但沒想到在他得掌大權之后不但沒有為衛子夫平反，卻反而尊李夫人為皇后，這讓很多人不解并且將他視作白眼狼。
霍光這一姓氏不難猜出他和霍去病兩人是同父異母的親兄弟，但是霍去病卻先一步走上了仕途，霍去病的父親是霍仲孺，他的母親是衛少兒，但是他的母親卻并不是霍仲孺明媒正娶的夫人，兩人是私通生下的霍去病，而霍中孺回家之后另娶了她人為妻后來生下了霍光。所以霍去病是衛少兒養大的，后來因為衛子夫的關系霍去病的身份地位水漲船高，他還親自拜訪了霍仲孺并帶走了十多歲的霍光，還將他推薦給了皇帝這才讓霍光走上了仕途。所以霍光在掌權之后沒有為衛子夫平反這是世人多為不解的地方。