高以翔的爷爷是台北市迪化街附近的地主，他的父亲是退休多年的米其林公司代理商，他的母亲年轻时是马来西亚观光小姐，之后为了家庭而选择当全职妈妈。高以翔在家排行老三，他还有两个哥哥，其中二哥高宇桥比他年长三岁，也是一名模特。
