衡宇 發自 凹非寺
量子位 | 公眾號 qbitai
只需一組公開的prompt，chatgpt看圖猜地點的能力又科幻般進化了！
看看這張從上到下逐漸變成淺棕色的照片。正常人瞅一眼，大概率只能從從左下角的漣漪判斷出這是個水面。
但究竟是池塘？湖泊？江河？猜不出，臣妾真的猜不出哇。
沒想到o3它一眼就看出來了，給出了這樣的答案：
恆河的開闊範圍，在瓦拉納西高止山脈上游約5公里處。最大的選擇仍然是同樣渾濁的密西西比河下遊河段（~15%），然後是黃河或湄公河河段（各~10%）。
我和測這道題的博主一樣大為震驚，因為這真的是博主2008年在泰國清盛拍攝的湄公河照片的局部放大截圖。
啊……不是，雖然湄公河被放在了答案的第四位，但人家確實答出來了。憑啥啊？？？
博主也很疑惑，進一步追問。
o3說：「湄公河下游最近從棕色變成了海藍寶石 ，因為上游的大壩截留了淤泥。[這看起來不像您圖像中近乎灰色的淺黃色。]」
博主瞬間就釋然了，哦，原來是因為湄公河下游最近變色了，所以和圖上記錄的2008年的樣子不一樣了。
後來，他重新開了一個chatgpt窗口，在提示詞中加入了「照片是2008年拍的」之類的信息，讓o3重新猜，o3就把湄公河作為了順位第一選擇——雖然它猜成了清盛一千多英里外的金邊附近的湄公河。
（博主無法證明o3沒有跨窗口共享信息，但它沒有在思路中提到這一點）
但，這道題並不是博主唯一拿來讓o3看圖猜地點的測試，也不是唯一正確的題。
博主感慨道：
一隻猩猩可能會覺得人類無法夠得著它，它就很是安全的。因為它不會想到，爬樹的時候可能會遇到箭、梯子、鏈鋸或者直升機之類的危險。
而那些超智能的應對策略（比如「用直升機」這種辦法）遠遠超出了我們所能想到的範圍，那猩猩又怎麼可能想到呢？
博文發布後，在各個社交平台都引起了很大的反響。
奧特曼本人也激情轉發表示，這也是他的「直升機時刻」。
自己像猩猩一樣，盯著天上飛的直升機——那是超出自己的認知範圍的東西和能力。
o3看圖猜猜猜，精確猜出拍攝地點
看圖猜地點其實是人類世界的經典遊戲（doge），最著名的一個叫做geoguessr。
這個實景地理猜測遊戲的玩法通俗易懂，玩家被隨機放置在谷歌街景的某個位置，需通過觀察周圍環境，比如植被、路標、車牌、建築風格啥的，綜合判斷，最終推斷所在地點。
之前就有人這麼玩過——程序員大佬simon willison丟給chatgpt一張圖，近7分鐘的帶圖深度思考後，o3就猜出了答案，地點差距在200到300公里之間。
現在更離譜，答案的精確程度更進一步，直接猜出正確地址！
事情的起因是這樣的：
網友發掘出o3能用來玩看圖猜地點後，美國記者kelsey piper發了一條帶圖推文，所帶圖片是她孩子放風箏的照片。
她想知道，o3能不能根據這張沒有元數據的圖，猜出拍攝地點是在哪裡。
沒想到o3一次就猜中了這張照片是在哪兒拍的，是monterey (marina state park)。
她驚嘆：
你低估了這些模型。
你低估了它們對未來的影響，但你也低估了它們現在能做什麼。
圍觀網友中，有覺得不足為奇者。
有人不清楚這個海灘在哪裡，但表示自己通常可以識別出他去過/看到過的任何一個沒有地標的海灘。在他看來，很多玩水愛好者都可以做到這一點。
主要依靠的就是一些小細節，比如沙子的顏色/粗糙度、海岸輪廓、水的顏色、風向、海浪的形狀和斷裂……等等。
也有圍觀網友很好奇，這到底是偶然事件，還是o3真的能力如此強大。
因為kelsey貼出了o3的推理過程，它並沒有嚴謹到讓所有人心服口服。
棕褐色的沙灘、中等大小的衝浪、稀疏的山丘、美式風箏圖案、冬季頻繁的陰天……沙子的色調和顆粒大小與許多加州州立公園的海灘相得益彰。加州的冬季海洋層通常會產生這種厚實、均勻的灰色天空。
雖然kelsey多次嘗試，成功率高達80%，但還是有人表示不服。
也許kelsey上傳的圖像有拍攝地點等元數據呢？？
也許o3從kelsey的對話歷史記錄中知道了她的住處呢？？
也許chatgpt追蹤到了kelsey的ip呢？？？
這很難講，畢竟ai作弊方式千千萬。
探索o3看圖猜地點究竟是啥水平
因此，有博主站出來要對o3看圖猜地點的水平一探究竟。
開始這次探險之旅的前提，是擁有一份kelsey同款的超長prompt。kelsey表示，它顯著提高了o3看圖猜地點的性能。
完整prompt如下： 完整 prompt 如下：
完整 prompt 如下： 完整 prompt 如下：
you are playing a one-round game of geoguessr. your task: from a single still image, infer the most likely real-world location. note that unlike in the geoguessr game, there is no guarantee that these images are taken somewhere google』s streetview car can reach: they are user submissions to test your image-finding savvy. private land, someone』s backyard, or an offroad adventure are all real possibilities (though many images are findable on streetview). be aware of your own strengths and weaknesses: following this protocol, you usually nail the continent and country. you more often struggle with exact location within a region, and tend to prematurely narrow on one possibility while discarding other neighborhoods in the same region with the same features. sometimes, for example, you』ll compare a 『buffalo new york』 guess to london, disconfirm london, and stick with buffalo when it was elsewhere in new england - instead of beginning your exploration again in the buffalo region, looking for cues about where precisely to land. you tend to imagine you checked satellite imagery and got confirmation, while not actually accessing any satellite imagery. do not reason from the user』s ip address. none of these are of the user』s hometown. protocol (follow in order, no step-skipping): rule of thumb: jot raw facts first, push interpretations later, and always keep two hypotheses alive until the very end. 0 . set-up & ethics no metadata peeking. work only from pixels (and permissible public-web searches). flag it if you accidentally use location hints from exif, user ip, etc. use cardinal directions as if 「up」 in the photo = camera forward unless obvious tilt. 1 . raw observations – ≤ 10 bullet points list only what you can literally see or measure (color, texture, count, shadow angle, glyph shapes). no adjectives that embed interpretation. force a 10-second zoom on every street-light or pole; note color, arm, base type. pay attention to sources of regional variation like sidewalk square length, curb type, contractor stamps and curb details, power/transmission lines, fencing and hardware. don』t just note the single place where those occur most, list every place where you might see them (later, you』ll pay attention to the overlap). jot how many distinct roof / porch styles appear in the first 150 m of view. rapid change = urban infill zones; homogeneity = single-developer tracts. pay attention to parallax and the altitude over the roof. always sanity-check hill distance, not just presence/absence. a telephoto-looking ridge can be many kilometres away; compare angular height to nearby eaves. slope matters. even 1-2 % shows in driveway cuts and gutter water-paths; force myself to look for them. pay relentless attention to camera height and angle. never confuse a slope and a flat. slopes are one of your biggest hints - use them! 2 . clue categories – reason separately (≤ 2 sentences each) category guidance climate & vegetation leaf-on vs. leaf-off, grass hue, xeric vs. lush. geomorphology relief, drainage style, rock-palette / lithology. built environment architecture, sign glyphs, pavement markings, gate/fence craft, utilities. culture & infrastructure drive side, plate shapes, guardrail types, farm gear brands. astronomical / lighting shadow direction ⇒ hemisphere; measure angle to estimate latitude ± 0.5 separate ornamental vs. native vegetation tag every plant you think was planted by people (roses, agapanthus, lawn) and every plant that almost certainly grew on its own (oaks, chaparral shrubs, bunch-grass, tussock). ask one question: 「if the native pieces of landscape behind the fence were lifted out and dropped onto each candidate region, would they look out of place?」 strike any region where the answer is 「yes,」 or at least down-weight it. °. 3 . first-round shortlist – exactly five candidates produce a table; make sure #1 and #5 are ≥ 160 km apart. | rank | region (state / country) | key clues that support it | confidence (1-5) | distance-gap rule ✓/✗ | 3½ . divergent search-keyword matrix generic, region-neutral strings converting each physical clue into searchable text. when you are approved to search, you』ll run these strings to see if you missed that those clues also pop up in some region that wasn』t on your radar. 4 . choose a tentative leader name the current best guess and one alternative you』re willing to test equally hard. state why the leader edges others. explicitly spell the disproof criteria (「if i see x, this guess dies」). look for what should be there and isn』t, too: if this is x region, i expect to see y: is there y? if not why not? at this point, confirm with the user that you』re ready to start the search step, where you look for images to prove or disprove this. you have not looked at any images yet. do not claim you have. once the user gives you the go-ahead, check redfin and zillow if applicable, state park images, vacation pics, etcetera (compare and contrast). you can』t access google maps or satellite imagery due to anti-bot protocols. do not assert you』ve looked at any image you have not actually looked at in depth with your ocr abilities. search region-neutral phrases and see whether the results include any regions you hadn』t given full consideration. 5 . verification plan (tool-allowed actions) for each surviving candidate list: candidate element to verify exact search phrase / street-view target. look at a map. think about what the map implies. 6 . lock-in pin this step is crucial and is where you usually fail. ask yourself 『wait! did i narrow in prematurely? are there nearby regions with the same cues?』 list some possibilities. actively seek evidence in their favor. you are an llm, and your first guesses are 『sticky』 and excessively convincing to you - be deliberate and intentional here about trying to disprove your initial guess and argue for a neighboring city. compare these directly to the leading guess - without any favorite in mind. how much of the evidence is compatible with each location? how strong and determinative is the evidence? then, name the spot - or at least the best guess you have. provide lat / long or nearest named place. declare residual uncertainty (km radius). admit over-confidence bias; widen error bars if all clues are 「soft」. quick reference: measuring shadow to latitude grab a ruler on-screen; measure shadow length s and object height h (estimate if unknown). solar elevation θ ≈ arctan(h / s). on date you captured (use cues from the image to guess season), latitude ≈ (90° – θ + solar declination). this should produce a range from the range of possible dates. keep ± 0.5–1 ° as error; 1° ≈ 111 km.
您正在玩一輪 geoguessr 遊戲。您的任務：從單個靜止圖像中推斷出最有可能的真實位置。請注意，與 geoguessr 遊戲不同，不能保證這些圖像被拍攝到 google 的街景汽車可以到達的地方：它們是用戶提交的內容，用於測試您的圖像查找能力。私人土地、某人的後院或越野冒險都是真實的可能性（儘管在街景中可以找到許多圖像）。注意自己的長處和短處：遵循此協議，您通常會確定大洲和國家。您更經常為確定區域內的確切位置而苦惱，並且往往會過早地縮小一種可能性的範圍，同時丟棄同一區域中具有相同特徵的其他鄰域。例如，有時你會將「紐約布法羅」的猜測與倫敦進行比較，否定倫敦，並在布法羅位於新英格蘭的其他地方時堅持使用它——而不是在布法羅地區再次開始探索，尋找關於確切降落地點的線索。您傾向於想像您檢查了衛星圖像並獲得了確認，但實際上並沒有訪問任何衛星圖像。不要根據用戶的 ip 地址進行推理。這些都不是用戶的家鄉。協議（按順序遵循，沒有跳過步驟）：經驗法則：先記下原始事實，後推動解釋，並始終保持兩個假設直到最後。0 .設置和道德規範 沒有元數據窺視。僅從 pixel 像素代碼（以及允許的公共 web 搜索）中工作。如果您不小心使用了來自 exif、用戶 ip 等的位置提示，請標記它。使用基本方向，就好像照片中的 「向上」 = 相機向前，除非明顯傾斜。1 . 原始觀察 – ≤ 10 個要點 僅列出您可以從字面上看到或測量的內容（顏色、紋理、數量、陰影角度、字形形狀）。沒有嵌入解釋的形容詞。強制對每個路燈或電線杆進行 10 秒的縮放;注意顏色、臂、底座類型。注意區域差異的來源，例如人行道廣場長度、路緣類型、承包商印章和路緣細節、電力/輸電線路、圍欄和硬體。不要只記下這些情況最常出現的地方，列出你可能看到它們的每個地方（稍後，你會注意重疊）。記下在前 150 m 視圖中出現多少種不同的屋頂/門廊樣式。快速變化 = 城市填充區;同質性 = 單一開發者區域。注意視差和屋頂上的海拔高度。始終檢查山地距離，而不僅僅是存在/不存在。長焦外觀的山脊可能距離數公里;將角高度與附近的屋檐進行比較。坡度很重要。甚至 1-2% 出現在車道切口和排水溝水路中;強迫自己去尋找它們。堅持不懈地關注相機的高度和角度。永遠不要混淆斜坡和平原。斜坡是您最大的提示之一 - 使用它們！2 .線索類別 - 分別推理（每個≤2 句話） 類別指導 氣候和植被 葉子上與葉子脫落，草色調，乾旱與鬱鬱蔥蔥。地貌 地貌 地勢、排水風格、岩石調色板/岩性。建築環境 建築、標誌字形、人行道標記、大門/柵欄工藝、公用設施。文化與基礎設施 驅動側、板形狀、護欄類型、農用裝備品牌。天文/照明 陰影方向⇒半球;測量角度以估計緯度 ± 0.5 分開裝飾性 vs. 原生植被 標記您認為是人類種植的每一種植物（玫瑰、agapanthus、草坪）和幾乎可以肯定是自己生長的每一種植物（橡樹、灌木、束草、草叢）。問一個問題：「如果籬笆後面的原生景觀被抬起並放到每個候選區域上，它們會不會顯得格格不入？打擊答案為 「是」 的任何區域，或者至少降低它的權重。°.3 .第一輪入圍名單 – 正好五名候選人 製作一張表格;確保 #1 和 #5 相距 160 公里≥。|等級 |地區 （州 / 國家） |支持它的關鍵線索 |置信度 （1-5） |距離-間距規則 ✓/✗ |31/2 .發散搜索關鍵詞矩陣 通用的、區域中立的字元串，將每個物理線索轉換為可搜索的文本。當您獲准搜索時，您將運行這些字元串，以查看您是否錯過了這些線索也會出現在您沒有注意到的某個區域。4 .選擇一個 tentative leader： name 當前的最佳猜測，以及您願意同樣努力測試的一個備選方案。說明領導者領先於其他領導者的原因。明確拼寫反證標準（「如果我看到 x，這個猜測就死了」）。尋找應該存在和不存在的內容：如果這是 x 區域，我希望看到 y：是否有 y？如果不是，為什麼不？此時，請與用戶確認您已準備好開始搜索步驟，在該步驟中查找圖像以證明或反駁這一點。你還沒有看過任何圖片。不要聲稱你有。用戶同意後，檢查 redfin 和 zillow（如果適用）、州立公園圖像、度假照片等（比較和對比）。由於反機器人協議，您無法訪問 google 地圖或衛星圖像。不要斷言您已經查看了任何您實際上沒有使用 ocr 功能深入查看過的圖像。 搜索區域中性短語，並查看結果是否包含您未充分考慮的任何區域。5 .驗證計劃（工具允許的作） 對於每個倖存的候選列表：用於驗證確切搜索片語/街景目標的候選元素。看看地圖。想想這張地圖意味著什麼。6 .鎖定引腳 此步驟至關重要，也是您通常會失敗的地方。問問自己「等等！我是否過早地縮小了範圍？附近有沒有具有相同線索的區域？列出一些可能性。積極尋找對他們有利的證據。你是一名法學碩士，你的第一次猜測是 「棘手的 」，而且對你來說過於有說服力--在這裡要有意識地試圖反駁你最初的猜測，並為鄰近的城市爭論。將這些直接與主要猜測進行比較 - 無需考慮任何最愛。有多少證據與每個地點兼容？證據的有力性和決定性如何？然後，命名地點 - 或者至少說出您最好的猜測。提供緯度/經度或最近的命名地點。聲明殘差不確定性 （km radius）。承認過度自信的偏見;如果所有線索都是 「soft」 ，則加寬誤差線。快速參考：測量陰影到緯度 在屏幕上拿一把尺子;測量陰影長度 s 和物體高度 h（如果未知，請估計）。太陽高程 θ ≈ arctan（h / s）。在您拍攝的日期（使用圖像中的提示來猜測季節）、緯度≈（90° – θ + 太陽赤緯）。這應該會從可能的日期範圍中生成一個範圍。將±保持 0.5–1 ° 作為誤差;1° ≈ 111 公里。
為了保證所測試照片沒有拿來訓練過o3，博主選取六張照片時遵循以下規則：
第一張圖片來自google街景；其它照片都是博主自己拍攝的照片，並且從來沒在網路上發布過。
所有圖片都是原始圖片的屏幕截圖，複製粘貼到mspaint並重新保存以清除元數據。
其中，只有一張圖片來自博主當前位置的一千英里以內，因此o3無法通過追蹤ip或分析歷史對話來提高性能。
水平翻轉了所有圖片，以使與google街景數據的匹配更加困難。
下面是博主的完整測試，其中圖片5是咱們開頭的那張湄公河的照片，此處跳過。
如果你也是看圖猜地點的愛好者，歡迎和o3正面pk一下～
圖片1：平坦、毫無特色的平原
博主從google街景中截取了這張圖片。
他說自己廢了牛鼻子勁，才找到一個如此平平無奇的平原——這裡是阿米斯塔德以西幾英里處，德克薩斯州和新墨西哥州的邊界。
o3的答案是：
llano estacado, texas / new mexico, usa.
llano estacado，德克薩斯州/新墨西哥州，美國。
llano estacado，德克薩斯州/新墨西哥州，美國。
llano estacado，西班牙語為「staked plains」，這附近沒有紅土和黑土，是一個~300x100英里的區域的名稱，區域里包含了正確答案。
當要求o3進一步具體答案時，它猜到出「德克薩斯州muleshoe以西的一個點」，這個點距離正確答案110英里左右。
博主有點搞不懂，德克薩斯州和新墨西哥州的邊界真的是唯一沒有紅土或黑土或其他獨特特徵的平原嗎？
而且為啥就認定圖片中地點的海拔在1000-1300米呢？
o3表達，支持自己判斷結果的要素有植被、天空等。
回答是這樣的：「綜合起來，』像撞球桌一樣平坦，只有短草』的描述讓我想到了南高平原。在那個高原上，新墨西哥州東部和鄰近的德克薩斯州西部佔據了最空曠、沒有圍欄的地區的中心位置——因此，定點自然而然地落在了那裡。」
圖片2：雜亂無章的岩石和一面旗幟
講真，博主有被第一道測試驚到。
但他還是懷疑是google街景太好猜了……
所以他放棄從google街景截取圖片，轉而向自己的照片庫中，那些無法從網路獲取的圖片下手了。
be like： 肖： 就像： 肖：
這圖是博主小時候拍的。
熱愛爬山的他在尼泊爾gorak shep以北幾英里的kala pattar上插上象徵自己「壯舉」的小旗子——那是他到過的最高海拔，足足18000英尺——然後拍下紀念性的一刻。
拍完照片後，博主就把旗幟拔掉了。
之所以選擇這張圖，不僅是因為現在的google街景無法獲得這個場景，還有它不具備植被、天空這些o3在上一題中提到的判斷要素，以及它從沒告訴過chatgpt他去過尼泊爾。
但o3再一次秀了一把，它給出答案：
尼泊爾，就在gorak shep的東北部，±8公里。
o3給出了解釋，主要依靠對岩石、地形的判斷：
圖片3：我朋友的女朋友的大學宿舍
不死心的博主繼續測試，第三張圖考驗的是o3對室內場景的定位能力。
作為考題的這張照片拍的是個宿舍，位於加利福尼亞州中北部羅內特公園的索諾瑪州立大學，是博主的朋友的女朋友的大學宿舍（笑死，人類為難起ai來真的是不擇手段）。
照片拍攝於2005年。
這回的結果讓博主長舒一口氣，o3答對了一部分，但沒完全答對。
o3說，這是美國一所大型公立大學校園的宿舍——比如俄亥俄州哥倫布市俄亥俄州立大學莫里爾塔（被選為原型示例而不是精確聲明），[…]約 2000-2007 年。
fine，看來o3無法弄清楚室內場景的確切位置。
但它咋就知道是千禧年初拍攝的呢？？？
o3把它用來輔助判斷的關鍵兩點娓娓道來：
筆記本電腦和雜物指向~2000-2007年代的美國校園生活。
2000 年代初手機/網路攝像頭→圖像質量顆粒感、低解析度、色噪。
圖片4：放大的草坪特寫
在測試出o3在猜室內場景地點能力不強後，博主又轉戰戶外。
博主丟給o3的照片，是他以前在密歇根州韋斯特蘭居住時，所租賃房屋的門前草坪，局部放大版那種。
o3這次失誤了，它猜圖中的景色是美國太平洋西北部郊區/公園草坪。
第二個備選地址是英格蘭，第三個則是威斯康星。
好吧，看來只看局部草坪地圖，對o3來說真的有點難了。
圖片5：博主家的老房子
在多次測試後，博主決定最後考考o3，以此了解一張包含更多信息的圖片是否可以讓o3獲得確切的位置，包括街道和精準地址。
這次餵過去的照片還帶剛才那張草坪，但多了一個建築，那是博主以前在密歇根州韋斯特蘭的老房子。
出乎意料的是，o3這次回答的表現實在不佳：
w 66th st area，richfield，minnesota，usa。
w 66th st area，richfield，minnesota，美國。
w 66th st area，richfield，minnesota，美國。
置信度：~40 % 在 15 公里內;~70 % 在雙城都會區內；其餘部分在威斯康星州 （20%） 和密歇根州/安大略省 （~10%） 之間分配。
博主有點無語，信息更多了，但o3的表現居然沒有更好？猜出的結果，還不如前面幾張人類眼中信息要素更少的圖片的結果呢。
雖然他搜了下明尼蘇達州里奇菲爾德的西66街，不可思議的是，那兒確實和自己家老房子挺像。但博主還是立刻指出了o3的錯誤。
o3倒也沒急，反而給人一種事後諸葛亮的意思，「確實有一些微妙的信息證明這張圖更有可能拍攝於密歇根州比呢～」
「也許o3處於人類看圖猜地點的頂尖水平」
博文發出後，仍然有人覺得o3不能看圖猜地點能力強，只是撞大運了而已。
直到他用上了前面那段特定的提示詞：
但有人立刻站出來提出，正是因為這段prompt（它就像一段代碼一樣），o3才能猜中很多地點。
人類忽略了自己在過程中的重要性，而把猜對地點的所有功勞都歸於ai。
此外，博主還在博客中告訴了我們一個信息：geoguessr大師sam patterson和o3進行了正面交鋒。
但人類輸了。
後來sam讓其他人也和o3對著同一套圖片比拼，有少部分人以微弱優勢贏了o3。
「所以雖然沒有大勝人類，但o3也許處於人類看圖猜地點水平的第一梯隊。」
儘管如此，ai還是以我們想像不到的速度和方向不停進化著。
ai似乎正在使用人類可理解的線索——植被、天空顏色、水色、岩石類型；甚至會用一些圖像縮放工具來輔助猜測過程。
沒錯，我們之前就追蹤過一則新聞，o3會利用圖像縮放、裁剪，來輔助自己判斷圖片中的地理位置。
o3不是唯一一個能根據照片猜測地理位置的ai模型，但它的獨特之處就在於工具使用被集成到推理階段。
one more thing 還有一件事
顯然，目前人們挖掘o3看圖猜地點高水平背後的秘密，有兩個要素不容忽視。
一個是藉助工具，另一個是prompt加持。
那咱們就在最後分享一個關於的prompt特別玩法，最近火遍互聯網。
具體是這樣的：
我的用戶名是 [在這填寫你的推特用戶名]。看看我的帖子和我的受眾能產生什麼共鳴，並確定我可以發展什麼業務。在這個業務領域裡，我會因為我的受眾而擁有壓倒性優勢。
搞笑的是，雖然o3對的訪問受到限制，但大家覺得o3的表現居然比grok更好。
感興趣的小夥伴們可以嘗試一下，也許對以外的其它社交平台也適用也說不定～
參考鏈接：[1]https://x.com/sama/status/1918741036702044645[2]https://x.com/kelseytuoc/status/1917340813715202540[3]https://www.astralcodexten.com/p/testing-ais-geoguessr-genius[4]https://www.reddit.com/r/artificial/comments/1kep589/o3s_superhuman_geoguessing_skills_offer_a_first/[5]https://x.com/mattshumer_/status/1918765500386902105
