1868年明治维新以后，日本便着力加强针对中国的间谍活动，利用一些熟知中国国情民俗、能操一口流利汉语的日本人收集各种军政情报。
以“洋行”为幌子
中华民国成立后，日本在华的谍报工作并没有停止。他们大多依然选择乔装打扮，通过开设药店、旅馆、咖啡馆和白面馆等各种店铺在华刺探情报。
在这些日本间谍中，比较著名的有毕业于日本陆军士官学校的井上。他1929年便在上海南京路哈同大楼三楼开设了“通原洋行”，以日中贸易作为掩护，在中国刺探情报。他的“井上公馆”，共有工作人员60多人，都是二三十岁的日本男子，公馆中连佣人、厨师也都是日本人。这些壮年男子在日本受到过黑龙会等特务机构的专门训练，有一定的专业知识，精通情报、化装、驾驶、射击、格斗、通信、暗杀等特工技能，并且大多有在中国从事情报工作的经验，对中国的民俗相当了解，能熟练使用中国方言。
豆腐老杨原来是间谍
1938年2月，“井上公馆”将所属的间谍分别派到中国内陆各有关城市刺探情报，如被派往河南洛阳的佐藤。佐藤隐瞒其真实身份，自称祖籍在河北保定，系杨氏后代，混入逃难至洛阳的难民之中，住在洛阳北关外邙山脚下，以卖豆腐丝为职业。
他每天上午10时至下午5时左右，穿着一身褪色的铁路工人服，肩挎木箱，以地道的中国北方方言，沿街叫卖豆腐丝。由于佐藤平时看上去相当老实，做生意又厚道，并可以先尝后买，也可欠账、赊账，当地民众都亲热地称他为“老杨”。
佐藤打着卖豆腐丝的幌子，利用买卖的流动性与交际性，进行刺探情报、发展情报人员的工作，并利用公开手段，搜集当时的《河洛日报》《行都日报》《战旗》等报纸杂志。此外，佐藤还通过赠送啤酒、香烟和小日用品等，四处拉拢动摇分子，刺探收集情报。他还广泛调查留日中国学生、失意政客、在野军阀、无聊文人、地痞流氓等各色人物，遴选将来各地日伪组织的人选。
1944年5月25日洛阳沦陷后，当地民众突然看到他们所熟悉的“老杨”竟然身着日本军服，骑着高头大马耀武扬威地招摇过市，才知道他是潜伏的间谍。佐藤所收集刺探的抗日动摇分子名单，在洛阳沦陷后即发挥了作用。当地日伪组织的首要分子，大部分是佐藤调查所提供的民族败类。随后，佐藤又摇身一变，前往西安，打算继续以卖豆腐的身份进行潜伏，但他混在难民中从洛阳逃至西安时，被抓住正法。
潜伏工作长远细腻
又如，化名徐志统的日本浪人芝原平三郎，生于日本广岛，幼居东北，长期混迹于北京、天津等地，除了会说一口流利的普通话，还会说上海话、杭州话等。抗日战争爆发后，他受命前往宁波潜伏，通过潜伏在天宁寺、操一口湖南口音的清山和尚的帮助，以湖南米商的身份在宁波四处交际。
日本攻击宁波时，宁波街头巷尾出现了一种奇特的广告：在一张长方形纸上四周画有粗线，中书“仁丹”二仿宋字，分直式和横式两种，横式表示街巷不通，直式表示可以通行，是为日军指路的标记，这些都是芝原平三郎的“杰作”。1941年4月19日，日舰进攻镇海时，芝原平三郎还收买了镇海炮台副官沈香亭等人，使日军得以轻易登陆。
日本对间谍的培训工作是长远细腻的。潜伏在河北怀县的小林德，1945年被八路军俘获后，曾供认道：“我们很早就想打入你们内部，帝国情报机关曾派两名懂中文的大学生学习了两年马列主义，又学习种稻田，熟悉中国北方人的生活习惯，然后又派遣到北京当掏粪工人，装作左倾，以便打入中国共产党。”
