津贵久还慷慨地提供了几千名劳力。接下来，在等待台风过去的那一个多月里，汪直船队的几千名船工水手和那几千名劳力拼命地扩建港口，还在港口之外筑起了一道堡垒。毕竟时间过于仓促，不能象曰本战国大名那样修筑城池，他们就每隔百丈之遥便修筑一座高约丈许，径长数丈的巨大圆形碉堡，其上布满射孔，正对着大路的方向还开有巨洞，黑洞洞的炮口直指向外。堡垒之间不但挖有宽逾两丈、深约丈许的壕沟，引来海水，形成一条护城河；还在护城河的内岸密密麻麻地立下巨木，构成一道木墙般的栅栏，将整个港口护卫其中。
起初，汪直船队的举动并没有引起岛津氏的怀疑。直至堡垒筑就，大炮架起，岛津氏的不少家臣才觉得有些不大对劲了：不就是为了贩运几船生丝而修建一个临时驻泊避风的港口吗？有必要如此大费周章地筑城？而且，据侥幸逃脱明军围剿的海盗们说，那些明国人架起的大炮，还有那些船工手持的火枪，分明是明军的武器！那个汪直口口声声说他只是个商人，明国镇抚司千户的官职只不过是他为了货殖方便，花银子捐来的，如何竟有那么大的神通，能弄到那么多的明军犀利火器？
岛津贵久也渐渐地察觉出了异常，不过，他深知汪直原本是海盗出身，如今还在做着贩卖火枪之类见不得光的买卖，一厢情愿地认为汪直只不过是担心被他黑吃黑而已。但是，他经不起别人的呱噪，便召集家中重臣集体商议此事。
有不少岛津氏的家臣建议出兵占据汪直船队新筑城的港口，他们的理由有三条：其一，卧榻之旁岂容他人鼾睡——萨摩藩乃是岛津氏的根基之地，向来不允许外人进出，如今却有这么一股势力盘踞于此，日后恐有尾大不掉之虞，终究会成为岛津氏的心腹大患；其二，那个明国海商五峰船主汪直为求加快港口建设进度，大撒银钱，给工匠民夫以丰厚的报酬，引得萨摩领内不少百姓主动前去效力，久而久之，领民难说会不会都被那个该死的明国海商给诱拐了去，甚至被那个该死的明国海商煽动起来对抗藩主。还有最最重要的第三条理由：明国眼下兵近十万，大举讨伐南洋诸国，据说是因为南洋诸国勾结红毛鬼杀了明国人。而岛津氏与明国的关系一向不睦，诸多出身九州的武士下海为寇，剽掠明国沿海市镇，已经成为世人皆知之事，明国不可能毫无警觉。日后他们会不会以剿倭为名，兵讨伐萨摩？那个明国海商五峰船主汪直拥有明国朝廷授予的官职，焉知会不会是明国派来的卧底……
为了在萨摩租借土地一事，汪直不但在岛津贵久身上下了偌大的功夫，还拜访了岛津氏家中不少元老重臣，馈赠大量钱财礼物。正所谓受人钱财，替人消灾，那些家臣都旗帜鲜明地反对出兵之议。他们认为，既然主公亲口允诺划出土地给五峰先生修筑港口，就不应该自食其言。否则便是背信弃义，恐招天下英雄耻笑。此外，五峰先生不但是幕府将军的御家人，还是京都公卿的座上客，一旦与其撕破脸皮，主公日后率军上洛，只怕难以得到天皇和幕府将军的支持，讨不来天皇的诏书或幕府将军的凭信，出兵之举便难以得到天下之人的认可。哪怕走海路，绕开四国岛，直抵伊势湾，近畿诸国的大名也不会主动让出通道。一旦陷入苦战之中，远征本州岛的萨摩大军只怕有全军覆没之虞……