人生起起落落，世族门阀其实也是一样。
出身河东薛氏南祖房，
只是其祖父薛衍、其父薛轨先后早亡，家中中落。在其祖父时期，家境勉强尚可，还有良田千亩，顶着官宦世家的帽子，只是到了其父薛轨死时，薛瑶家中已经不剩什么了。
当时薛轨早亡，其妻杜氏携带长子薛礼从襄阳返回河东，遇过洛阳时杜氏病重，而其长子时年刚刚四岁，薛瑶两岁。
一家病的病，小的小，其家仆罗义方认为薛氏已经倒了，再无中兴的可能，所以他心生歹意，携款潜逃。
不料，被其忠义家仆薛勇发觉，一番打斗，罗义方被薛勇扭送到官府治罪。
当时兵荒马乱，官府哪有心情管这些破事，就把罗义方打了一顿。罗义方怀恨在心，就将薛瑶抱走卖掉。