但是他的父親林燮卻被誣陷致死，他的母親也在聽聞父親的噩耗之后追隨而去。林殊的父親還有一個妹妹就是林樂瑤，后來林樂瑤入宮之后被封為宸妃也是祁王的母親，林殊和祁王是一對表兄弟，林樂瑤作為林殊的姑姑皇帝也就是他的姑父。
林殊的母親是晉陽公主也是長公主，當時還有一位公主是蒞陽公主，晉陽公主是蒞陽公主的姐姐，晉陽公主本身性格就非常剛烈，但是外表看起來柔柔弱弱的一個弱女子，誰也沒能想到她會做出如此剛烈的舉動。林殊的父親因為赤焰冤案被冤枉而死之后，林殊的母親提著劍進了皇宮就是想要阻止大梁皇帝，在她自刎之后卻沒有想到皇帝還是沒有饒了祁王。
晉陽公主作為皇帝的親妹妹皇太后也是她名義上的母親，但是古時候的皇帝妃嬪眾多，晉陽公主和其他的公主都是作為長公主的身份，她與皇帝是同父異母的兄妹關系，所以她尊稱太后一聲母親其實兩人并沒血緣關系。