始，原本负责监管私货贸易的市舶司，职责更多转向了税收。原本由市舶司监管的“私货互市”，改由市舶司在当地组织“牙行”来完成。所谓“牙行”，就是市舶司出面，委派当地人组织市场，管理“私货互市”，受委派的人要求是当地“有抵业人户”，其实就是与市舶司关系密切的当地商人。此时是明武宗朱厚照在位的时期，先是刘瑾乱政，继而刘六刘七起义，随后明武宗又北伐蒙古，游猎四方，上上下下花钱的地方很多。经此改革，市舶司果然收入大增，仅正德五年（公元1510年），广东市舶司送交中央的白银就达30万两，给明王朝解了燃眉之急。可从此时起，市舶司的职权一步步下降，沿海的海商势力借助“牙行”掩护，走私活动日益猖獗。

    观明朝立国之后的海禁政策，至16世纪初叶，可谓演变甚多，海禁的严厉程度，可以说是时紧时松，但总的趋势，却是越来越松。此时明朝商品经济发展，资本主义萌芽初兴，东南沿海海商势力日益增多，且借“牙行”等改革，许多交易日益合法化，市舶司的权限，也在一步步缩小，原先的包办一切，变成越来越多的放权。但与此同时，从永乐至正德年间，明朝市舶司的关税收入却在直线上升，早年的“花钱买面子”，变成此时税额日益增加。海商权限的扩大，海禁政策的名存实亡，已是大势所趋。此时，一个外来因素的加入，给这个大趋势加了催化剂——葡萄牙人。

    这时正是16世纪初叶，西方“新航路开辟时期”，葡萄牙船队一路拓展，先击败垄断印度洋贸易的印度舰队，又占据马六甲，下一个目标就到了中国。葡萄牙人第一次造访中国，是明朝正德九年（公元1514年），葡萄牙船队抵达珠江口，他们要求与明朝政府贸易，因为拿不出明朝朝贡贸易的“勘合”（贸易许可证），遭到明朝政府拒绝。不过，葡萄牙人发现了另一群人——广东当地的走私商人们，他们主动与葡萄牙进行交易，且给葡萄牙人做向导。通过在广东“牙行”供职的商人牵线，葡萄牙成功向广东镇守太监行贿，获得了入京觐见朱厚照的机会。孰料好景不长，正德十六年（公元1521年）朱厚照病逝，嘉靖皇帝即位，对葡萄牙采取了强硬态度，不但驱逐了广东沿海的葡萄牙商船，更调动水师，在广东屯门、西草湾两次痛击葡萄牙舰队。眼见得和明朝政府通商没戏，葡萄牙开始和沿海的海商们勾搭连环。这些常年在东南沿海搞走私贸易的海商，在当地熟门熟路，且饱受明朝政府打压，自然乐意与葡萄牙合作发横财。从此，葡萄牙人、倭寇、东南海商联合作乱，反复骚扰东南沿海，这就是嘉靖皇帝在位时期开始的“倭患”。

    今人说到抗倭，波澜壮阔的战斗说了很多，不过一些提及很少的事情，却会让后人惊讶：与葡萄牙人以及倭寇勾结的沿海海商，固然都是当地臭名昭著的“走私犯”，但沿海的百姓也纷纷参与其中。比如嘉靖二十六年（公元1547年）著名的“横屿岛之战”，是葡萄牙人、倭寇，以及海商李光头等人联合占据浙江横屿岛，将当地建成了一个“国际贸易港口”。日本历史学家藤田丰八曾赞此地为“十六世纪的上海”。岛上贸易繁荣，商旅云集，不但各国商人纷至沓来，就连当地周边的商户也纷纷参与。岛上不但有集市，更有李光头的“衙门”，葡萄牙人的教堂和医院，俨然一个国中之国。嘉靖二十六年（公元1547年），明朝闽浙总督朱纨调集大军，发动强攻，一举攻破双屿岛。上岛后他惊奇地发现，岛上40里长的主干道竟然寸草不生。朱纨不禁感叹道：“商旅往来之多，由此可见。”双屿岛之战后，大批的“海贼”们逃至福建地带。朱纨趁热打铁，火速追击，相继在福建吴语和走马溪重创“海贼”，且严厉打击走私，将有“通番”行为的90多名罪犯当众正法，重手打击下，福建“倭患”稍息。

    但让人扼腕的事情发生