2003年,詹姆斯·麦卡沃伊在出演电视剧《无耻之徒》时结识女演员安-玛莉·杜芙,并于2006年结婚。2010年,詹姆斯的儿子布兰登·麦卡沃伊出生。2016年,詹姆斯·麦卡沃伊与妻子发表联合声明结束婚姻关系。