Verizon正在修改其“無限”數據計劃。美國的客戶可以以480p的價格流式傳輸視頻,也可以付費以解鎖更高分辨率(720p和+ 1080p)。他們不是唯一執行諸如 this
之類的規則的移動運營商。如果我在為視頻流實施HTTPS的網站上(例如YouTube或Facebook),運營商如何知道我正在看的分辨率?如果運營商限制所有數據的帶寬,那麼談論視頻分辨率似乎是錯誤的方向。如果只是視頻,那似乎會引起隱私問題。
Verizon正在修改其“無限”數據計劃。美國的客戶可以以480p的價格流式傳輸視頻,也可以付費以解鎖更高分辨率(720p和+ 1080p)。他們不是唯一執行諸如 this
之類的規則的移動運營商。如果我在為視頻流實施HTTPS的網站上(例如YouTube或Facebook),運營商如何知道我正在看的分辨率?如果運營商限制所有數據的帶寬,那麼談論視頻分辨率似乎是錯誤的方向。如果只是視頻,那似乎會引起隱私問題。
這是一個活躍的研究領域。我恰好在這方面做了一些工作,所以我將分享有關基本想法的一切(這項工作是與行業合作夥伴進行的,我不能分享秘密細節:))。
tl; dr是通常可以將加密的流量流標識為承載視頻,並且通常可以估計其分辨率-但它很複雜,而且並不總是準確的。有很多人正在研究更一致,更準確地執行此操作的方法。
視頻流量具有一些特定的特徵,可以將其與其他類型的流量區分開。在這裡,我專門指點播視頻,而不是實時流式視頻。視頻點播通常沒有此答案中提到的優先級標籤。我還專門指自適應視頻,這意味著將視頻分為多個段(每個段大約2-10秒),並且每個段的視頻均以多種質量等級(質量等級,即:長期視頻比特率,編解碼器,和分辨率)。在播放視頻時,下一個片段的下載質量級別取決於應用程序認為網絡可以支持的數據速率。 (這是此答案中所指的DASH協議。)
如果您的手機正在播放視頻,並且您查看了流量的(加權移動平均值)數據速率隨著時間的流逝,您的手機可能看起來像這樣:
(這是從Verizon的YouTube會話中捕獲的。 15秒內的移動平均線和短期平均線。)
本次會議有幾個不同的部分:
首先,視頻應用程序(YouTube播放器)嘗試將緩衝區填滿到緩衝區容量。在此期間,它將以網絡可以支持的任何速率提取數據。在此階段,除非可以從遠程地址推斷出它的視頻流量,否則基本上無法與下載大文件區分開(如此答案中所述)。
一旦緩衝區已滿,則您會以規則的間隔獲得“爆發”。假設您的緩衝區可以容納200秒的視頻。當緩衝區中有200秒的視頻時,該應用程序將停止下載。然後,在播放一段視頻(例如5秒鐘)後,緩衝區中又有空間了,因此它將下載下一段,然後再次停止。這就是導致這種突發模式的原因。
此模式非常具有視頻的特徵-來自其他應用程序的流量沒有這種模式-因此網絡服務提供商可以很容易地挑選出承載視頻流量的流。在某些情況下,您可能永遠也不會觀察到這種模式-例如,如果視頻太短以至於整個事情都立即加載到緩衝區中,然後客戶端停止下載。在這種情況下,很難將視頻流量與文件下載區分開(除非您可以通過遠程地址來找出它)。
無論如何,一旦您將流量識別為承載視頻流量-遠程地址(並非總是可能的,因為主要的視頻提供商使用的內容分發網絡不是視頻專有的)或按其流量模式(如果視頻會話較長,則可能會發生,如果視頻會話很短而導致整個視頻都已加載,則困難得多)立刻全部放入緩衝區)...
現在,如 Hector所說,您可以嘗試通過查看比特率(以字節為單位)來從比特率猜測分辨率數據的每個“突發”:
根據每個持續時間的大小,您可以對分辨率進行合理的估計-尤其是如果您保持滾動平均值。
但是,這可能很困難。以我的示例中的YouTube會話為例:
我剛剛在上面顯示的數據速率圖是嗎?以下是該時間間隔內的視頻分辨率:
在這裡,顏色表示視頻分辨率。所以...您可以各種僅根據流量模式來估算發生的情況。但這是一個難題!您可以查看流量中的其他標記。我不能確切地說任何一家服務提供商是如何做到的。但是至少就目前的學術水平而言,沒有任何方法可以始終保持完美的準確性(除非您與視頻提供商合作...)
如果您想了解更多有關用於此類問題的技術的信息,則那裡有很多學術文獻-例如,參見 BUFFEST:預測HTTP的緩衝區條件和實時要求(S)自適應流客戶端作為起點。 (不是我的論文,只有我剛讀過的一篇論文。)
除了流視頻之外,沒有什麼能夠以一致的速率最大化帶寬。
此外,為了確保優先處理流(例如,不像下載大文件那樣),流源以一種向運營商告知其正在流視頻的方式標記數據包。數據包的其餘部分已加密,但是告訴ISP如何路由它的元數據可以看到這一部分。如果他們不這樣做,則很有可能在ISP試圖平衡當時所有網絡流量需求時,流將被中斷或降級。
這是 Verizon表示,他們會這樣做:
Verizon顯然不會將視頻本身轉換為較低的分辨率。相反,它將設置視頻應用程序必須調整的帶寬限制。 Verizon告訴Ars:“ 我們通過將速度設置為不超過10Mbps 來管理高清視頻吞吐量,該速度可提供高達1080p視頻的高清視頻。” Mbps可能會低於Verizon將視頻限制為480p或720p的情況。
這意味著訂戶和流量呈形某種方式,因為它是某種類型的視頻,因此它被標記了。
如何? Verizon擁有一個視頻優化系統,該系統已顯示甚至在2017年8月宣布新上限之前,仍將Netflix和YouTube的速度限制為10 Mbps。
Verizon承認使用了新的視頻優化系統,但表示這是臨時測試的一部分,並且不會影響視頻的實際質量。視頻優化似乎適用於無限和有限的移動方案。
但是一些YouTube用戶報告了降級的視頻,他們說使用 VPN服務可以繞過Verizon的限制措施。
這表明Verizon能夠識別視頻流並相應地限制帶寬,即使內容是通過HTTPS(而非VPN)傳遞的。
Schroeder幾乎是正確的,因為它只是一種營銷方式,說它們將帶寬限制在某些站點IP地址或在數據包上查找優先級標記。
但是值得注意的是,從理論上講如果他們的唯一目的是在視頻流傳輸時強迫用戶達到某個分辨率,而沒有其他選擇,那麼他們可以使這項工作更好。
當今許多互聯網流傳輸都使用稱為DASH(HTTP上的動態自適應流傳輸)的過程。此方法的工作方式是請求一小段視頻,下載時測量帶寬,並以分辨率/壓縮方案選擇下一個視頻塊,以便在第一個塊完成時及時接收該視頻
。這意味著請求中會提示用戶正在做什麼。如果您的設備每3秒鐘向網站發送一次請求,請求一個文件下載時間不到3秒鐘,則該網站很有可能正在流式傳輸視頻。從每個持續時間的大小,您可以對分辨率進行合理的估算-特別是如果您保持滾動平均值。然後,您可以將帶寬限制為該IP地址。
使用主要視頻提供商(googlevideo(youtube),Netflix等)的已知IP地址進行決策加權,可以使算法更具攻擊性,而不會出現太多錯誤肯定。
最大的事情就是您連接的地址。 HTTPS保護正在傳輸的數據,但不保護您正在與之通信的地址。如果Verizon知道Netflix服務器的IP地址,則它們可以對來自那些IP範圍內的IP的數據流施加限制。然後,Netflix將根據可用帶寬自動調整其播放。
基於恆定的流量速率(小於最大可能值),人們也很可能注意到這一點。這可能意味著某種類型的媒體流,儘管它也可能是帶寬受限的文件傳輸,所以會有一些誤報。
我相信他們在宣布更改時提到的技術細節中,他們只是計劃使用IP地址來設置限制,但是我不確定這是否會隨著時間的推移而改變,或者我是否還記得正確,因為自宣布以來已經有一段時間了,我沒有記筆記我對它的原始研究。
如果您使用重視性能的安全性/隱私性的(正確的)VPN,它將使用大量技巧來混淆ISP試圖將您正確標識為流視頻的任何嘗試:
但是,有一些限制:
當然,作為一種方式確保不能以更高質量傳輸視頻,ISP可以選擇將下載的所有內容限制為低於線速的任意比特率-但這有很多問題:
因此,總的來說,在ISP的軍備競賽中,試圖檢測用戶的特定內容並根據您的內容進行區分進行下載時,如果您使用良好的VPN(並假設ISP無法破解您的加密方法),則用戶最終將獲勝。 ISP無法確定地檢測您的內容,並且猜測的準確性也很高。
我認為,隨著用戶開始意識到這一點,並採取措施防止ISP檢測到其內容,ISP會通過降低其為每個人發布的速度做出響應(以允許更多訂戶共享相同的可用頻譜);提高價格;消除無限的數據計劃(再次);對於那些每月超過任意(相當低)數據上限的用戶,更嚴厲的節制處罰;或故意放慢他們無法明確識別的任何流量(例如VPN流量),並將其歸為“可疑”流量。
對於監管機構,政客和無知的公眾,他們可以說服自己,並且令人信服地認為,大多數/所有VPN流量都是非法下載,非法交易(毒品等),以及試圖“違反規則”的人們並繞過ISP設置的限制。儘管技術專家會大聲疾呼,但是我們傾向於被那些參與該系統的人淹沒,並樂於欺騙消費者快速賺錢。
他們也可以這樣做所有這些東西同時進行。我在美國無線行業的經驗是,正如您認為的那樣糟糕,但情況更糟。他們不僅傾向於選擇對問題最有益的補救措施,還傾向於青睞那些對客戶具有最大敵意的補救措施,從而壓制言論自由並違反網絡中立原則。
他們還傾向於嘗試讓用戶彼此對抗。他們採用的政策使用戶受到指責,並把其他用戶稱為“數據豬”,而不是作為一個團隊共同向其施加壓力,要求其提供商擴展基礎架構來滿足需求,而不是試圖使群體稀疏以匹配當前可用的資源。 / p>
我想這只是人類的天性,這就是為什麼要讓無線行業成為類似於電力和自來水的社會的持續,有價值的基石,就必須對其進行監管。在那之前,這只是Ma Bell時代的拜占庭專有PSTN的另一種變化。
Verizon不會完全識別和阻止加密的高清視頻...但是它與Netflix和Youtube等服務達成協議,要求它們識別Verizon IP地址範圍,&尊重Verizon施加的任何限制。
對於較小的服務,我認為Verizon可以使用第二個武器...我很確定,在“無限”計劃的客戶服務協議中,有一條條款允許Verizon將“不透明”加密流量計入用戶的每月“網絡共享”限制。因此,Verizon可能不知道(或關心)您全天都在家中通過安全攝像頭將高清視頻流式傳輸到手機,但是他們可以將流量統計為每月5或10gb的限制(如果您的計劃是將其限制為150kbps,不包括網絡共享。)
不確定您的情況是否如此,但有時提供商會使用代理。當您使用他們的網絡(OTA)時可以自動設置。該代理具有有效的證書,該證書來自您的提供商。如果是這樣,他們就可以讀取所有HTTPS流量並使用某些軟件進行流量整形。如果是這種情況,VPN會有所幫助。
因此提供商將自動在您的移動設備上設置APN。互聯網流量已從您的移動設備發送到APN。提供商可以使用任何商業流量整形軟件來控制視頻(來自FB / YT / etc)的流傳輸。命運模式因此,如果這些塊變大,則視頻分辨率會更高,使用流量整形軟件,您可能可以調節這些下載模式。使用VPN時,提供商無法確定通過VPN發送的數據類型。他仍然可以看到數據塊模式,但是通過VPN限制所有數據將導致您的總下載速度降低,我認為這違反了合同中約定的速度。
添加:您的手機連接到APN。該APN可以充當代理,並且已經具有有效的證書(因此您無需安裝它)。您的手機將按照預期接受該證書作為有效證書。如果它充當代理,則提供程序不會因您的HTTPS加密而停止,要求該代理查看您的所有請求。在這種情況下,提供商可以對您的請求或接收到的數據執行任何操作。例如,提供商可以運行軟件來優化/壓縮視頻,然後再將視頻從代理髮送回手機以節省帶寬。