-
NAL Header頭部解析
查看全部 -
H264碼流每層的關(guān)系圖
查看全部 -
切片與宏塊的關(guān)系：每個切片都包括切片頭和切片數(shù)據(jù)，每個切片數(shù)據(jù)又包括了很多宏塊，每個宏塊又包括了宏塊的類型、宏塊的預(yù)測、編碼的殘渣數(shù)據(jù)等
查看全部 -
一個H264幀最少要有一個切片(NAL Unit)
查看全部 -
H264編碼分層：1、NAL層（Network Abstraction Layer）,視頻數(shù)據(jù)網(wǎng)絡(luò)抽象層。2、VCL層（Video Coding Layer），視頻數(shù)據(jù)編碼層
碼流基本概念：1、SODB（String Of Data Bits）,原始數(shù)據(jù)比特流，長度不一定是8的倍數(shù)，它是由VCL層產(chǎn)生的。2、RBSP（Raw Byte Sequence Payload,SODB+trailing bits），算法是在SODB最后一位補1，不按字節(jié)對齊則補0。3、EBSP(Encapsulate Byte Sequence Payload)，需到兩個連續(xù)的0x00就增加一個0x03。4、NALU，NAL Header(1B)+EBSP
H264結(jié)構(gòu)圖
查看全部 -
幀分組(一組連續(xù)的圖片，一幅圖片為一幀)
查看全部 -
（1）幀內(nèi)預(yù)測壓縮，解決的是空域數(shù)據(jù)冗余問題（將一幅圖里的人眼不是很敏感的色彩、光亮等數(shù)據(jù)剔除）
（2）幀間預(yù)測壓縮，解決的是時域數(shù)據(jù)冗余問題（將一組圖里面連續(xù)的重復(fù)性高的幀剔除）
（3）整數(shù)離散余弦變換(DCT),將空間上的相關(guān)性變?yōu)轭l域上無關(guān)的數(shù)據(jù)然后進(jìn)行量化。
（4）CABAC壓縮(無損壓縮)
查看全部 -
H264宏塊劃分與子塊劃分：宏塊里面可以再包含很多子塊
查看全部 -
GOF(group of frame):一組幀，可以將一段時間內(nèi)畫面變化不大的所有幀劃為一組幀
SPS與PPS（這兩種都劃為I幀）：
SPS(Sequence Parameter Set):序列參數(shù)集，存放幀數(shù)、參考幀數(shù)目、解碼圖像尺寸、幀場編碼模式選擇標(biāo)識等。
PPS(Picture Parameter Set):圖像參數(shù)集，存放熵編碼模式選擇標(biāo)識、片組數(shù)目、初始量化參數(shù)和去方塊濾波系統(tǒng)數(shù)調(diào)整標(biāo)識等
視頻花屏/卡頓原因：1、如果GOP分組中的P幀丟失會造成解碼端的圖像發(fā)生錯誤（于是形成了花屏）。2、為了避免花屏問題的發(fā)生，一般如果發(fā)現(xiàn)P幀或者I幀丟失，就不顯示本GOP內(nèi)的所有幀，直到下一個I幀來后重新刷新圖像（因為丟了一組數(shù)據(jù)，所以形成了卡頓）
視頻編碼器：1、x264/x265。2、openH264(支持SVC技術(shù))。3、vp8/vp9
查看全部 -
AAC格式：1、ADIF(Audio Data Interchange Format):只能從頭開始解碼，常用在磁盤文件中。2、ADTS(Audio Data Transport Stream)：這種格式每一幀都有一個同步字，可以在音頻流的任何位置開始解碼，它似于數(shù)據(jù)流格式（缺點：文件比ADIF大，優(yōu)點:每個幀都可以被單獨解碼播放）
查看全部 -
AAC規(guī)格描述（AAC、AAC HE、AAC HE V2）--> AAC+SBR=AAC HE V1, AAC + SBR + PS = AAC HE V2
查看全部 -
音頻壓縮技術(shù)
1、消除冗余數(shù)據(jù)（有損壓縮技術(shù)）。
壓縮的主要方法是去除采集到的音頻冗余信息，所謂冗余信息包括人耳聽覺范圍外的音頻信號以及被掩蔽掉的音頻信號
信號的掩蔽可分為頻域掩蔽和時域掩蔽
頻域掩蔽：一個強純音會掩蔽在其附近同時發(fā)聲的弱純音。也稱同時掩蔽
時域掩蔽：在時間上相鄰的聲音之間也有掩蔽現(xiàn)象，主要原因是人的大腦處理信息需要花費時間。
同步掩蔽效應(yīng)和不同頻率聲音的頻率和相對竟是有關(guān)，而時間掩蔽則僅僅和時間有關(guān)。如果兩個聲音在時間上特別接近，分辨會有困難（如兩個聲音音量相差較大且兩個聲音間隔時間低于5毫秒，則其中弱的那個聲音會聽不到）。
2、哈夫曼無損編碼
查看全部 -
公式：采樣率*采樣大小*聲道數(shù)
查看全部 -
量化基本概念：1、采樣大?。阂粋€采集用多少bit存放。常用的是16bit。2、采樣率:采樣頻率8k/秒、16k/秒、32k/秒、44.1k/秒、48k/秒。3、聲道數(shù):單聲道、雙聲道、多聲道
查看全部 -
聲音三要素：1、音調(diào)（也就是音頻）。2、音量：振動的幅度。3、音色：它與材質(zhì)有很大關(guān)系，本質(zhì)是諧波
圖一音量：甲乙的振動頻率相同、振幅不同。圖二音調(diào)：甲乙振幅相同、頻率不同
查看全部
舉報