1868年明治維新以後，日本便着力加強針對中國的間諜活動，利用一些熟知中國國情民俗、能操一口流利漢語的日本人收集各種軍政情報。
以「洋行」為幌子
中華民國成立後，日本在華的諜報工作並沒有停止。他們大多依然選擇喬裝打扮，通過開設藥店、旅館、咖啡館和白麵館等各種店鋪在華刺探情報。
在這些日本間諜中，比較著名的有畢業於日本陸軍士官學校的井上。他1929年便在上海南京路哈同大樓三樓開設了「通原洋行」，以日中貿易作為掩護，在中國刺探情報。他的「井上公館」，共有工作人員60多人，都是二三十歲的日本男子，公館中連傭人、廚師也都是日本人。這些壯年男子在日本受到過黑龍會等特務機構的專門訓練，有一定的專業知識，精通情報、化裝、駕駛、射擊、格鬥、通信、暗殺等特工技能，並且大多有在中國從事情報工作的經驗，對中國的民俗相當了解，能熟練使用中國方言。
豆腐老楊原來是間諜
1938年2月，「井上公館」將所屬的間諜分別派到中國內陸各有關城市刺探情報，如被派往河南洛陽的佐藤。佐藤隱瞞其真實身份，自稱祖籍在河北保定，系楊氏後代，混入逃難至洛陽的難民之中，住在洛陽北關外邙山腳下，以賣豆腐絲為職業。
他每天上午10時至下午5時左右，穿着一身褪色的鐵路工人服，肩挎木箱，以地道的中國北方方言，沿街叫賣豆腐絲。由於佐藤平時看上去相當老實，做生意又厚道，並可以先嘗後買，也可欠賬、賒賬，當地民眾都親熱地稱他為「老楊」。
佐藤打着賣豆腐絲的幌子，利用買賣的流動性與交際性，進行刺探情報、發展情報人員的工作，並利用公開手段，搜集當時的《河洛日報》《行都日報》《戰旗》等報紙雜誌。此外，佐藤還通過贈送啤酒、香煙和小日用品等，四處拉攏動搖分子，刺探收集情報。他還廣泛調查留日中國學生、失意政客、在野軍閥、無聊文人、地痞流氓等各色人物，遴選將來各地日偽組織的人選。
1944年5月25日洛陽淪陷後，當地民眾突然看到他們所熟悉的「老楊」竟然身着日本軍服，騎着高頭大馬耀武揚威地招搖過市，才知道他是潛伏的間諜。佐藤所收集刺探的抗日動搖分子名單，在洛陽淪陷後即發揮了作用。當地日偽組織的首要分子，大部分是佐藤調查所提供的民族敗類。隨後，佐藤又搖身一變，前往西安，打算繼續以賣豆腐的身份進行潛伏，但他混在難民中從洛陽逃至西安時，被抓住正法。
潛伏工作長遠細膩
又如，化名徐志統的日本浪人芝原平三郎，生於日本廣島，幼居東北，長期混跡於北京、天津等地，除了會說一口流利的普通話，還會說上海話、杭州話等。抗日戰爭爆發後，他受命前往寧波潛伏，通過潛伏在天寧寺、操一口湖南口音的清山和尚的幫助，以湖南米商的身份在寧波四處交際。
日本攻擊寧波時，寧波街頭巷尾出現了一種奇特的廣告：在一張長方形紙上四周畫有粗線，中書「仁丹」二仿宋字，分直式和橫式兩種，橫式表示街巷不通，直式表示可以通行，是為日軍指路的標記，這些都是芝原平三郎的「傑作」。1941年4月19日，日艦進攻鎮海時，芝原平三郎還收買了鎮海炮台副官沈香亭等人，使日軍得以輕易登陸。
日本對間諜的培訓工作是長遠細膩的。潛伏在河北懷縣的小林德，1945年被八路軍俘獲後，曾供認道：「我們很早就想打入你們內部，帝國情報機關曾派兩名懂中文的大學生學習了兩年馬列主義，又學習種稻田，熟悉中國北方人的生活習慣，然後又派遣到北京當掏糞工人，裝作左傾，以便打入中國共產黨。」
