你和朋友坐在一起聊天,隨手把手機扔桌上。你問他,家裡暖氣不熱怎麼辦?夜晚,你便在小紅書的信息流里刷到“教你給暖氣放氣”。你人一驚,心想“難道又被手機竊聽了?”因為你從未主動搜索過類似話題。
如果確實存在“App 監聽談話”,那其目的大多是為了各種應用平台信息、商品、廣告的精準推送,但這卻是個人信息(或隱私)獲取的眾多方式中,最為敏感,也最不“划算”的一種。它被反覆提及,原因是用戶總能發現“巧合”,卻難以對其證實。相關商業公司也只是否認,拿不出反駁證據。
如果 app 真的通過麥克風一直監聽我們,到底可不可行?
人們的確曾抓到過智能音箱和語音助手的把柄,亞馬遜 Alexa 曾因為錯誤理解指令,把“偷聽”來的談話錄音發給用戶通訊錄里的好友,證明麥克風偷聽並非臆想。
2018 年,一對住在俄勒岡州的夫婦突然接到朋友電話,被朋友告知,收到了他們家 Echo 智能音箱發來的聊天錄音。確認了談話細節,他們這才相信,被偷聽了。
他們找到亞馬遜討個說法,對方出面解釋道,有一種可能是當事人在對話中某個發音很像“Alexa”,由此喚醒了它。在隨後的談話過程里,Alexa 錯誤地以為聽到“發送語音信息”的請求,又錯誤地聽成是某位聯繫人。亞馬遜說,這種事情發生的概率極小,但也有意外。
如果不是麥克風一直在聽,智能音箱怎麼知道用戶喊它了?乍一聽,好像有點道理。
2020 年,一位產品經理在 hackernoon(一個技術分享社區)寫過一篇文章專門解釋這個困惑。他拿 Siri 舉例,說 Siri 確實在“聽”,但它“聽不懂”,直到被“Hey Siri”觸發後,它才開始理解你的指令。
Siri 確實在“聽”,但它“聽不懂”丨圖片來源 Giphy
因為 Siri 只是聽懂你在喊它,就已經耗費很多“力氣”。落到麥克風上的聲音會以 0.01 秒為一幀,每次 20 幀(0.2s),被輸入到深度神經網絡,進行本地計算。深度神經網絡將這些聲音轉換成概率密度函數。當函數值達閾值,主處理器被激活。在主處理器激活之前,處理聲音做這些事情的是協處理器。
所謂協處理器可以理解為,具備有限的功能和電量消耗的輔助處理器,允許用戶在屏幕關閉時,訪問一些“始終開啟”的功能。比如它幫助分擔處理來自加速度計、陀螺儀等的數據,改善手機續航。(不然,你的運動步數是如何統計的?)“Hey Siri”功能推出後,它就幫着 Siri 處理聲音。Siri 理解,你不想讓它聽的聲音,它就“左耳進右耳出”。
那 app 會不會跟語音助手一樣呢?如果它“左耳進”,但“沒右耳出”呢?
“Hey Siri”可被看作是蘋果的“底層應用”,是寫在系統內部的,相比之下,iOS 系統之上的應用,調用系統權限的時候,用戶不會那麼“無感”。
2019 年,國內的一個開發者團隊寫了一個安卓 app,在演示中,app 獲取“錄音”權限後,鎖屏在後台監聽。開發者對麥克風說,“今晚吃什麼?”服務器端就收到 app 上傳的語音轉文字後的信息。他們為了證明,拋開所有限制條件,僅從技術角度來說,“app 在後台監聽到用戶說什麼”是可行的。
為什麼強調“僅從技術上”?因為想要完全繞過用戶的注意,實現“偷”聽,難度可就大了。2017 年,Facebook 廣告負責人 Antonio García Martínez 在《連線》上撰文。他說,如果 Facebook 通過麥克風記錄聽到的所有內容,在功能上等同於用戶和 Facebook“一直通電話”。
如果 Facebook 通過麥克風記錄聽到的所有內容,在功能上等同於用戶和 Facebook“一直通電話”丨圖片來源 Giphy
有人做了實驗,錄音一小時(採樣率 48khz,比特率 256kbps),文件大小達 112.39M,消耗電量 6%。低功耗長時間的錄音,耗電量不是很大。如果多個 app,多個 SDK 同時使用該方式,手機會變得又熱又燙。
如果你手邊正好有一台 iPhone 6,打開 Siri 設置會發現,那時“Hey Siri 只有在充電時才能用”。得益於低功耗的 M9 協處理器,蘋果在 iPhone 6s 推出時,才首次加入始終聆聽“Hey Siri”功能。
低功耗長時間的錄音,耗電量不是很大,如果十個一起呢?丨圖片來源 hackernoon
你難以想象“實時傳輸”能產生多少用戶數據。Martínez 假設用戶每天使用手機時長為半天,以當時來計算,“網絡通話”的單向傳輸速率平均 24kbps,每人每天傳輸數據大約 130MB。當時 Facebook 僅在美國的日活是 1.5 億,每天產生大約 20PB 數據。Facebook 數據庫中存儲了 300PB 的數據,每天處理的數據量大約 600TB。這樣一算,監聽所產生的音頻數據就是每天要處理的 33 倍了。即便公司體量如 Facebook,也難承其重。
如果使用語音壓縮技術,再分段傳給服務器存儲,再去處理呢?
以 iLBC 語音編解碼器為例,採用 20ms 的幀格式,語音數據經過編碼之後的速率為 15.2Kbps,每分鐘數據 112KB。即便每天只監聽用戶 1 個小時,每年產生的數據,也會用掉用戶 2.5GB 內存。
也許有人仍有疑問。既然這條路行不通了,手機、app 廠商可以在本地將“語音轉文字”,過濾後提取有價值的信息,再上傳到後台服務器。拋開這樣做後台運算會“吞噬”CPU,造成手機性能下降不說,擔負的成本也不低。
Google 以 0.006 美元/15 秒向第三方出售其“語音轉文字”服務。(一個用戶)每天轉寫 24 小時的成本是 12614 美元,即便每天轉寫 1 小時也得 525 美元。
2021 年初,時任(中國)App 治理工作組技術專家何延哲在做了實驗和檢測之後稱,目前還沒有發現哪款 app 有把語音信息上傳之後的偷聽行為。
根據各個平台的隱私政策,獲取麥克風權限,淘寶是為了與 AI 客服對話,抖音是為了拍攝短視頻作品,百度是為了語音搜索。
我做了一次從個人消費者出發的測試,想去證實兩個懷疑,這三款主流的 app 有沒有在無感知(沒有啟用麥克風)的情況下,錄下我的對話;並將此用於 app 的個性化推薦和廣告系統。
為此我儘可能規避其他變量,用一台抹掉所有內容和設置,並升級到 iOS15 以上的 iPhone 7 Plus 進行測試。並且註冊了以上三款 app 的新賬戶。
先將淘寶獲取麥克風權限,置於前台,連續兩天,每次 30 分鐘以上對麥克風“輸入”與乒乓球有關的音頻和對話。再將 app 放在後台,重複以上操作。對抖音,百度重複上述操作。
兩天測試之後,我開始檢驗。首先,一旦我試圖在三款 app 中,啟用麥克風(無論進行語音搜索,還是錄視頻),在手機狀態欄都有麥克風啟動提示。
在淘寶的推薦頁面下,我下滑 100 個頁面(標準版,每個頁面大概四個推薦結果),沒有推薦與乒乓球相關的商品和廣告;在抖音的推薦頁面下,我連續刷 100 個視頻,沒有出現與乒乓球有關的視頻內容;同樣在百度的前 100 個推薦結果里,沒有出現與之相關的新聞標題。
至少在這次實驗中,app 調用麥克風時無法不被察覺,也沒有將我的談話內容,和周圍環境聲音,“轉化為”個性化推薦。
就像開篇提到的“供暖”例子,基於社交媒體對用戶的了解,你可能已經被準確打上“年輕女性”、“北漂”標籤,恰好“北京供暖”這個話題搜索熱度高。帖子可能被推給了 10 萬打着同樣標籤的人,其中恰好包括你,你理所當然地認為自己被監聽了。
這可能是證實偏差(confirmation bias)在作祟。證實偏差是一個心理學上的概念,它就像腦中的過濾器,留下你認為正確的。而把那些與需要不相關的其他信息無意識地過濾掉,選擇性注意。它也被稱“視網膜效應”,或“孕婦效應”。
類似例子非常常見。2008 年美國大選時期,研究者發現支持奧巴馬當選的選民購買了更多正面描寫奧巴馬的書,反對者則是那些批評奧巴馬書籍的主要買家。很多時候我們不可避免地帶入這種“主觀性”,它是影響我們大腦做出正確判斷的主觀因素。
你與男朋友在外散步,討論起最近搬家,話中談及買什麼牌子的投影儀好。結果你晚上回家刷手機,不僅在社交媒體上被推薦中介看房,淘寶還給你推送了新款投影儀。這時候,你剛準備跟男朋友炫耀“我就說,手機一定在竊聽我們。”等等,冷靜了一下,回憶起自己出門根本沒帶手機。
這種情況之所以發生,也許是你的男朋友已經在網上瀏覽過搬家,如何挑選投影儀。而你們因為在網絡上互為好友,被監測到相互轉發等行為,已經被廣告系統標註為“有共同興趣”。
所以廣告系統已經這樣成熟了嗎?
至少在商業消費領域,通過“偷”聽來獲得的用戶數據,質量不見得高,但需要付出的成本極其高昂,公司沒必要為此買單。
2018 年,今日頭條在被質疑通過麥克風獲取個人隱私時回復,他們的做法是“除非用戶明確點擊授權,否則無法收到用戶的語音信號。”
幾乎所有主流 app 都表明類似立場。因為對於第三方 app 來說,它們想不為用戶發覺,或突破系統權限進行監聽幾乎不可能。iOS14(Android12)升級後,只要麥克風啟動,就會在下拉狀態欄的屏幕上方有所提示。
比起用麥克風竊聽,商業公司有更成熟的“畫像”方法。那些你看到的精準推送,可以基本上歸因於大數據分析的結果。
如果投影儀廠商想投放廣告,它可能會找任意一家互聯網平台投放,後者根據在授權信息中出現“投影儀”、“電影”等相關標籤的用戶來推送。整個投放過程通過程序化廣告系統自動完成。
那這些相關標籤是如何建立的呢?
App 獲取的第一個信息,就是移動設備標識號,在安卓手機上叫 IMEI,在 iPhone 上叫 IDFA。這跟註冊、登陸該 app 無關,即便沒有,用戶的行為數據一樣會被採集。這些行為數據里,你做了什麼(觀看、評論、購買等),停留時長,是一時興起還是長期需求等,被賦予不同權重,構成一個興趣模型的基本組成部分。
那些你看到的精準推送,可以基本上歸因於大數據分析的結果。丨圖片來源 Giphy
經過一段時間對你的觀察,模型就能給你的某個“興趣標籤”打分,並通過多個興趣標籤值,刻畫出一個越來越“立體”的你。商業公司將無數個“你”進行分類,把同樣的廣告推給和你一樣的人。讓你有了平台好像比你更懂自己的“錯覺”。App 可以根據你的 IDFA 跟蹤你在其他 app 上的行為。這就是你為什麼剛在淘寶上搜索“投影儀”,就在刷抖音的時候,看到淘寶的投影儀廣告了。
今天的廣告系統還能通過“依存關係”給你推薦。出於對隱私保護,iOS13 新增如果想要獲取 Wi-Fi 名稱,需要在調用接口前獲得用戶的定位權限。因為通過 Wi-Fi 信息可以定位到用戶地理位置。但不代表不給定位權限,app 就沒法鎖定你了。App 還能通過同一局域網下的設備來跟蹤。
因此 iOS 14 中新增了“本地網絡”權限。App 想要訪問同一局域網下的其他設備,需要經過你的授權(在此之前不需要)。
通過獲取設備的 MAC 地址(唯一的網絡標識),獲知某個局域網下,連接的電子設備型號,以及你的“關係鏈”。如果幾個用戶每晚都連同一個 Wi-Fi,那麼 app 判斷他們大概率是一家人。在“大數據”的加持下,能找到 MAC 地址,與 IMEI 號的對應關係,給你和家人推送的內容就會交叉共享。
其實,app 偷偷摸摸收集大家信息的行為,都不來自於“聽”。
2020 年,來自浙江大學、多倫多大學、加拿大麥吉爾大學等學者展示了一項研究成果,手機 app 可在無用戶授權下,利用內置加速傳感器採集聲音的震動信號。這種不通過麥克風等收、錄聲設備,而是通過其他傳感器,比如陀螺儀、加速計,再通過深度學習等技術恢復語音數據的技術,被稱為側信道還原技術。
同樣不易被人察覺的還有 SDK,嵌入在 app 內提供特定功能,方便開發者開發而存在。“當 app A 和 app B 都採取了同一家廣告 SDK 時,那麼 A 和 B 內收集的數據都可能上傳至這一家 SDK 上,A 與 B 之間天然形成了數據共享。你在 A 上的搜索記錄和使用習慣有可能就會被反映在 B 上。”浙江大學計算機科學與技術學院周亞金教授稱。今年工信部檢測出 13 款 app 內嵌第三方 SDK 存在違規收集用戶設備信息的行為。
2021 年,網信辦發布了對 33 款 app 違規收集使用個人信息情況的通報,一些耳熟能詳的輸入法產品也在其中。

商業公司如果真的企圖獲取用戶的信息,麥克風監聽性價比實在太低丨圖片來源 Giphy
這些違法違規的信息收集手段,都會讓我們產生被“監聽”的錯覺。商業公司如果真的企圖獲取用戶的信息(甚至竊取用戶的隱私),有很多方式。相比之下,麥克風監聽性價比實在太低。
手機廠商在儘量打消人們對於“用麥克風竊聽”的顧慮和誤解。
如上文提到,iOS14(Android12)升級後,只要麥克風啟動,就會在下拉狀態欄的屏幕上方有所提示。App 幾乎不可能突破移動操作系統限制,直接調用硬件功能,實現用戶無感的錄音操作。利用系統漏洞、安裝惡意程序等方式,技術難度和法律成本都極高。
首部個人信息保護法出台。它規定,處理個人信息,應在事先充分告知的前提下取得個人同意,不得誤導、欺詐、脅迫等。
同時,對於個人信息的收集,應當限於實現處理目的的最小範圍,不得過度收集個人信息。處理個人信息應當遵循公開、透明原則,公開個人信息處理規則,明示處理的目的、方式和範圍。這規範拿到的語音數據,放在哪裡,如何處理。
蘋果之前對於通過“Hey Siri”發送到服務器的語音,表示會按照隱私政策來處理,相當於給一個隨機設備標識符,用完即“扔”。iOS15 更新後,希望將 Siri 語音處理本地化(目前國內還不支持)。
如果用戶想打消“被偷聽的顧慮”,我們自己在客戶端還能做些什麼?
用戶最先安裝 app 時,可以拒絕調用麥克風的權限。對於已經在使用中的 app,安卓用戶可以在“設置—應用設置—應用管理—某 app—權限管理—錄音”路徑下,關閉 app 對麥克風的獲取;iOS 用戶通過“設置——隱私與安全性——麥克風”,查看請求訪問麥克風的應用,並關閉。
個性化廣告已經成為了互聯網廣告的一種比較常見的模式,發生推薦結果也並不意味着 app 實施了監聽。
iOS14.5 更新後,IDFA 的開關狀態由“默認開啟”改為“默認詢問”。如果你此前沒有關注到這一點,可以在“設置—隱私與安全性—跟蹤”下,查看哪些 app 使用標識符來跟蹤你,並且關閉它。
關閉程序化廣告,廣告相關度會降低丨圖片來源 Giphy
當然看到 app 里的個性化廣告時,你總不免焦慮,時常擔心到底哪一個行為暴露了自己的信息和喜好。現在你可以手動關閉它們。
2019 年,澎湃新聞的記者發現,在今日頭條 app 中關閉程序化廣告後,用戶看到的廣告數量保持不變,但廣告相關度會降低。南都在 2020 年的《個人信息安全年度報告》中對 50 款頭部 app 測評,發現六款沒有提供個性化推薦關閉選項。兩年之後,這些頭部 app 均已增加了這一選項。
個性化推薦選項一般在 app 各自的設置里,拿淘寶舉例,通過“我的淘寶——設置——隱私——推薦管理——關閉個性化推薦”。
好了,這下手機不會“搶答”了。
[1] https://hackernoon.com/how-does-hey-siri-work-without-your-iphone-listening-to-you-at-all-times-827932do
[2] https://mp.weixin.qq.com/s/lXqmU97nVBcKxklqYCpbhQ
[3] https://www.wired.com/story/facebooks-listening-smartphone-microphone/
[4] https://cloud.google.com/speech-to-text/pricing
[5] https://www.guokr.com/article/4935/
[6] https://sspai.com/post/61223
[7] https://www.androidauthority.com/your-phone-is-not-listening-to-you-884028/
[8] https://www.ndss-symposium.org/wp-content/uploads/2020/02/24076.pdf
[9] https://mp.weixin.qq.com/s/X5sVzp7nY-MoY542Uep61g