至于王直的家眷早搬往异地金华了。而且去时也是极隐秘的。胡宗宪当年将王直的大儿子，十分隐秘地寄养在金华的农家。当然，那时是搞错了。那孩子其实是王直义子王滶的。
王直死后，胡宗宪接旨进京，临行前秘密托人将王直的妻儿，送往金华，以免来日遭受连累。留在杭州迟早出事。因为连胡宗宪本人，都自认是泥菩萨过江。一同去京里更加危险，哪怕那儿有严嵩严相爷撑腰。因为严嵩也不会有好下场。
香儿并不知道胡宗宪暗中藏起来，作人质的孩子，其实不是王直亲生。王直因为事情牵扯太复杂，故意隐瞒。而胡宗宪虽然到底还是知情了，却也没法向外说。哪怕是香儿，甚至是严嵩。
因为嘉靖在密旨里说得很清楚，务必要保守“王直是倭人”的秘密。如果要点出那孩子并非王直亲生，势必得告知“王直是倭人”的这个真实的情况，否则无法合理解释。因此胡宗宪只好一道瞒起了。
王直死后，胡宗宪到王家，走过两、三趟。胡宗宪也是极聪明的人，向香儿述说了利害，让她一办完王直的后事，便去个人地生疏之处隐居。而王直的“大儿子”已被安置在金华。香儿便主动要求过去金华，也好照看相公留下的这个苦命孩子。
江浙都是胡宗宪的地盘。妥善安排一下，完全不是问题。500年前的社会，又不似后来这般科技先进，备着详细的档案资料，还有电脑联网。从官府这方面，秘密做些手脚，弄些个假身份、假来历，将人彻底隐去，十分地容易。