Igralec, ki je večkrat upodobil slavnega agenta Jamesa Bonda, je bil poročen štirikrat. Prvi dve soprogi, Doorn van Steyn in Dorothy Squires, sta bili po njegovem pripovedovanju do njega zelo nasilni. Med drugim sta pri tepežu uporabljali celo čajnik in kitaro.

O neprijetni izkušnji s prvo ženo je spregovoril za oddajo Life Stories: "Doorn me je praskala. Vame je metala čajnik." Po tem jo je zapustil. Pri drugi soprogi Dorothy, s katero je bil poročen med letoma 1953 in 1968, se je skušal izogniti vsem prepirom z brenkanjem na kitaro, kar pa je ženo še bolj ujezilo. Nekoč ga je z njo treščila po glavi. "Uničila je kitaro, bila je zelo temperamentna," jo je opisal.

O težavah v zakonu s tretjo ženo Luiso Mattioli, s katero ima tri otroke, ni potožil, s soprogo številka štiri Kristino Tholstrup pa je srečno poročen in je našel svoj mir. "Razmerje je umirjeno, nimava nobenih prepirov," je povedal.