1954年3月，由最高人民检察署从全国各地相关部门抽调的近千名工作人员组成的侦讯工作团奔赴抚顺、太原战犯管理所开展工作。侦讯工作全面完成后，最高人民法院根据全国人大常委会的决定，组建特别军事法庭，着手准备审判日本战犯。

为了能够更好地完成审判日本战犯的任务，根据中共中央的决定，罗荣桓下达了侦讯日本战争犯罪分子的命令。1954年3月，最高人民检察署从全国各地相关部门抽调的近千名工作人员组成了最高人民检察署“侦查日本战争犯罪分子工作团”。为对外保密，简称“东北工作团”。东北工作团成立后，工作团成员来到了抚顺，开始了审理日本战犯的第一步工作---侦讯工作。侦讯日本战犯工作中的调查取证难度较大，为了保证完成任务，东北工作团侦讯人员先后到12个省市调查取证。在侦讯工作中，除了掌握了大量的确凿证据、证人外，东北工作团还制作了每一个日本战犯的罪行笔供。在侦讯人员有理有节的讯问下，顽固的日本战犯终于开始坦白自己的罪行。经过东北工作团侦讯人员大量细致的工作，1955年9月，侦讯工作告一段落。根据全国人大常务委员会的决定，东北工作团最后确定45名日本战犯为起诉对象。

中国最高人民法院根据1956年4月25日全国人大常委会第三十四次会议通过的《决定》，组成了“中华人民共和国特别军事法庭”。

为了使审判日本侵华战争罪犯更具有庄重的现实意义，中央决定将审判地点放在了沈阳和太原这两座饱经战火创伤的城市。特别军事法庭延续了东京审判的国际审判程序，分别为这些日本战犯聘请了辩护律师及翻译人员。律师们有的从犯罪态度方面，有的从被告人所处的社会环境和所受的教育方面，为被告人进行辩护，建议法庭从宽量刑。另外，被告人辩护律师与公诉人就一些问题还进行了法庭辩论。尽管这些日本战犯罪恶深重，但是辩护律师们认真的履行了律师的职责。