本县的李神通和李秀宁等李唐宗族逃跑，自己也弃官而去，李渊入关中之时，独孤怀恩前往依附，论功则为元从之臣，加上这层亲属关系，被授予了大将军，工部尚书之位，几与李唐宗室亲王相同。
而独孤怀恩也真没把自己当成外人，李渊有一次跟他饮酒之时，喝醉了戏言：“这大隋的天下现在落到了朕的手里，以后恐怕也该轮到表弟你了吧！”
这句话倒是助长了独孤怀恩的野心，回府之后，他就对左右亲信元君宝说道：“以前我们独孤家只有女人贵为皇后，太后，以后也应该轮到男丁们大富大贵了吧。”从此，元君宝等人开始在军中活动，为其拉拢腹心死士，以图不轨。