下，百里家成立了暗营组织，专门处理朝堂事务。这种良好的关系一直到距今五、六十年，直到赵武灵王一改习俗，胡服骑射，更是罕见地要求百里家协助出征东胡。百里家虽然觉得奇怪，但是一向关系良好，便也没有多想答应了。
也正是这个失误让百里家遭受到前所未有的损失，也让强盛的百里家走向衰落。此役光朝晖境就损失了三个，腾云境、琴心境更是数以十计，而赵武灵王对此却说是胡人神迹所致，百里家由此与赵国王族断交。但是后来赵武灵王饿死沙丘，赵惠王当政后内忧外犯，又求到百里家，百里家念及旧情，再加上百里家也需要赵国提供资源来对抗秦国的百里家，双方关系这才有所缓和。
不过自此后百里家与赵氏王族时有龃龉，关系时好时坏，百里家也出现一些声音，想要出面取代赵国，不过却被打压了下来。赵国王族似乎也另有助力，却又依然刻意和百里家维持关系。