由于林世良已把走私巨案中得来的部分钱转让给了孔令侃和“孔二小姐”，孔祥熙不敢为此事直接去找蒋介石求情，只是暗中打通关节多方营救。军法总监部碍于孔祥熙的面子，准备先准许林世良和许性初取保候审，然后再以滥用职权营私罪判处林世良十年徒刑以了结此案，并把对林世良的判决报到蒋介石处。可是谁也没有料到，军统局在办理此案的过程中，那批被扣押的走私物资总价已涨到了六千万法币之巨。按照国民党政府缉私条例的规定，办走私案件的奖金数为货物总价的十分之一。依此计算，如林世良走私的这批货物充公的话，军统局将得到六百万法币的奖金。戴笠心里清楚，这绝对不是个小数目。但如果林世良不判死刑，那批货物不充公，那么军统局想要的奖金就会落空。于是，戴笠要手下的人大打小报告，揭发林世良利用职权与不法奸商勾结大发国难财的犯罪事实。然后，戴笠让这些揭发材料通过军法总监部呈送给侍从室，以此来触怒蒋介石。
也就在此时，美国总统罗斯福派出高级特使威尔斯到中国，考察了解国民党接受美援后的使用情况，并转达美国政界对国民党政府政治腐败、走私猖獗、贪污成风和军队混乱等的愤怒和忧虑，建议蒋介石对政权实行有效改革。蒋介石送走威尔斯后不久，就看见了列举林世良的种种不法行为的报告。本来心里就窝着火的蒋介石，不假思索地提笔在林世良的原判决上批上了“立予枪决”四个字。戴笠通过内部关系很快拿到了蒋介石的批示，他知道要是孔家知道了肯定会全力进行营救，为此当夜就将林世良处决了。
当孔家知道了蒋介石的批示后，孔夫人宋霭龄立马向蒋介石求情哭诉。
蒋介石是个家族观念高于一切的人，遂改变了原先的主意，要收回“立予枪决”的手令。但此时，林家已接到了“收尸”的通知。当蒋介石明白了其间的原由后，感到自己似乎中了戴笠的圈套，不由得大怒要拿戴笠问罪。后经陈布雷等人的说情，蒋介石才放过了戴笠，但也给戴笠批了“擅权嗜杀”四个字。
孔祥熙原与戴笠之间无大恶，林世良一案后与戴笠结下了不解之仇。
在不久召开的国民党五届十一中全会的筹备会上，孔祥熙联合与戴笠一直对立的陈立夫和陈果夫等人，向蒋介石提出了弹劾戴笠的提案，控告戴笠兼任缉私署长期间私敛资金，以武装缉私为名扩充特务武装破坏军令统一等。蒋介石对此提案心中是有数的，他表面上似乎是为了安抚孔、陈等皇亲国亲戚，而以“雨浓兼职过多，精力分散”为由，撤去了戴笠的缉私署长的职务而让孔祥熙推荐的宣铁吾取代。其实蒋介石的真正心事是慑于戴笠手中的权力过大，如不加抑制将难于驾驭。随着戴笠缉私署长的撤职，所有各省的缉私处长全被撤换，军统局的人员全部遭到排斥。
当时，美国驻中国大使馆对戴笠被解除缉私署长向美国国务院作了报告，报告中对解除的原因作了分析：1、对部下管教不严，数次发生擅自绑架和处决的行为，特别是对林世良的处理；2、军统本身腐败的“缉私活动”与国民党高级官员们“腐败利益”相冲突；3、国民党秘密警察内部发生激烈内斗；4、因为日本人成功的反间谍活动，使军统在沦陷区的情报组织遭到破坏；5、蒋介石夫人宋美龄在访问美国的过程中，得出的印象是“美国人相信的不是蒋委员长，而是戴笠”。在这五点原因中，前四点完全是表面的，而最后一点不论对蒋介石和戴笠都是至关要紧的。现在已无法确认宋美龄访问美国时是否真的有那种印象，但事实上蒋介石在对戴笠的猜忌的同时更增加了戒备的心理。
蒋介石对戴笠的这种戒备心理很快反应在对赵理君的杀人案上。
赵理君是四川人，因在上海刺杀史量才和唐绍仪等人后无法立足而被戴笠调到重庆，并被任命为军统局第三处行动科科长。不久，因山西的阎锡山与蒋介石不和，蒋要戴笠封锁晋南到河南洛阳的通道，控制人员的来往。戴笠随即任命赵理君为第一战区少将编练专员兼洛阳专区行政督察专员，要赵理君严密控制从洛阳到山西的黄河渡口。赵理君是军统的著名杀手，尽管其心狠手辣为军统内部的许多人员所齿寒，但戴笠对其是宠爱有加。他把持黄河渡口后，经常以检查为名敲诈勒索劫夺财物，甚至是把人打死后投进黄河里。赵理君的手下，还多次对混杂在渡河老百姓中的中统特工人员进行劫夺，对不听话的任意打死后也被投入黄河灭迹。中统特工人员在无奈之下把赵理君和他的手下的所作所为拍了照片，并整理成材料后向第一战区长官部作了控诉。尽管赵理君有戴笠作为后