En vieillissant, Huo Zhenghui était connu pour avoir mauvais caractère. Non seulement il ne s'entendait pas avec ses fils, mais il était également strict envers ses employés. La situation s'est aggravée lorsque, l'un après l'autre, ses fils sont morts de maladies et d'accidents qui lui ont laissé sans successeur.
Son fils aîné est mort à l'âge de quarante-cinq ans, laissant derrière lui une épouse sans enfant. Trois ans plus tard, son fils cadet est mort dans un accident de voiture, le laissant avec le second fils, qu'il avait renvoyé de l'entreprise des années auparavant et qui devint plus tard le père de Huo Yunhao.
Huo Yunxi s'est marié avec une femme allemande nommée Irina Augenstein alors qu'il s'installait pour travailler en Europe, loin de la famille Huo. Bien que plus talentueux et plus intelligent comparé à ses deux frères, Huo Yunxi n'avait ni la passion ni l'intérêt de diriger l'entreprise familiale, ce qui exaspérait son père.