1931年，“祖家”（殖民时代港英公务员对英国的称呼）的MI5改组为安全局（Security Service），受内政大臣指挥，但划归外交大臣管辖。改组之后安全局大举扩张机构，远东地区总部设在新加坡，香港作为自由港，当时还没有显示出太强的战略意义。政治部虽然与MI5关系匪浅，但工作以签发护照、人口登记、移民登记、公务员品格审查等为主。
1933年，香港警察政治部的英文名更改为Special Branch，指挥机构明确为MI5。但中文名一直沿用，所以有了“SB”的缩写。成立之初政治部有200余人，大多数为英国警官和情报人员。
1941年，日本侵略军用18天的时间打败了在香港驻守的英军，港督杨慕琦签字投降，香港进入了3年零8个月的日占时期。留在香港的英国军警人员大部分被投入战俘营，港英政府随之瘫痪，直到1945年日本投降后，英国才重新掌握香港。
第21任香港总督杨慕琦（资料图）
拿回治权后，英国人重新成立政治部，主要任务是甄别在日占时期服务于“军政厅”的公务员，和加入了日本军政府“宪兵纠察队”的警察是否可以继续留任，以尽快恢复香港的行政架构，应付汹涌来港的战争难民，“防范共产主义”的任务被暂时放在了后面。
1946年起，政治部纳入香港警察队架构，但港府官方仍然不承认政治部的存在。1950年代，随着世界局势剧烈变化，政治部在掌门人赖德（MI5特工，公开身份为香港大学副校长）的指挥下，开始发挥英国人最需要的作用：搜集包括中国大陆在内的共产党国家的情报，严密防范和侦察共产党、国民党在香港的一举一动，防止两党在香港进行颠覆和间谍活动。
当时除了国共两党的明争暗斗，还有“第三势力”以香港为基地伺机而动，代表人物中有张发奎、顾孟余这样铁杆反共，甘心受美国人指挥的人物，也有章伯钧、李宗仁、张国焘等有一定影响力的人物，还有如蔡文治这样投靠美国，准备武力反攻大陆的流亡军人。
美国政府，尤其是改组不久的中央情报局看中了这些人的种种价值，给予了大量的资金、资源支持。驻香港的中情局站长哈德曼还曾亲自接见过张发奎等人。后来由于蒋介石反对美国扶植他人削弱台湾，哈德曼被调回国内，蔡文治在塞班帮美国人训练的“精锐”和在大陆的“百万潜伏兵马”也在“行动”中羽翼尽折。
这个过程中，英国情报机关角色非常微妙，他们不希望有人以香港为基地进行军事行动，同时也不想得罪任何一方——美国与英国是军事同盟，台湾与英国有“外交关系”，共产党政权虽然刚建立不久，但伦敦和北京有默契——香港暂时保持现状，英国可以保留对香港的治权，中国可以和平利用香港的特殊地位。