靖难时与山东参政铁铉攻守济南，以抗击燕军。济南保卫战胜利之后，铁铉和赵贵均得到升迁。后来济南城被朱棣攻破，铁铉被执死。赵贵逃逸直隶广平府威邑【今邢台威县】，又因被征用入军，赵贵怕身份暴露，遂举家迁至永年，至此不复山东，为永年人。
