家庭出身微贱。

宋周密 《齐东野语·杨太后》：“﹝ 杨太后 ﹞既贵，耻其家微，阴有所遗，而絶不与通，密遣内璫求同宗，遂得右庠生 严陵杨次山 为姪。”