À medida que envelhecia, Huo Zhenghui ficou conhecido por ter mau temperamento. Não só se dava mal com os filhos, como também era rigoroso com seu pessoal. Piorou quando, um após o outro, seus filhos morreram de doenças e acidentes que o deixaram sem um sucessor.
Seu filho mais velho morreu aos quarenta e cinco anos, deixando para trás uma esposa sem filhos. Três anos depois, seu filho mais novo morreu em um acidente de carro, deixando-o com o segundo filho, a quem ele havia expulsado da empresa anos atrás e que mais tarde se tornou pai de Huo Yunhao.
Huo Yunxi casou-se com uma alemã chamada Irina Augenstein enquanto se estabelecia para trabalhar na Europa, longe da Família Huo. Embora mais talentoso e inteligente comparado aos seus dois irmãos, Huo Yunxi não tinha paixão ou interesse em administrar o negócio da família, o que irritava seu pai.
