ffmpeg 播放器原理

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

1 播放器过程

线程1 ： readPackets-------》 audio_packets队列 video packets 队列

线程2： decodeAudio && play

线程3： decodeVideo---》扔到videoFrames队列里, 如果AVFrame乱序则需要排序

线程4： playVideo，视频时钟和音频时钟比较得到delay ----》 Sleep（delay）-----》play

2. 同步过程（很重要）时钟 Audio ：

get_audio_clock（）{
pts = audio_clock - (double)hw_buf_size / bytes_per_sec （没有播放的数据时间） ;
return pts;
}pts = (double)pFrame->reordered_opaque * av_q2d(is->pFormatCtx->streams[is->VideoStream]->time_base) // 单位秒;//更新视频内部时钟以视频时钟为基准同步才有用
//is->video_clock = pts + av_q2d(is->pVideoCodecCtx->time_base) ; //如果是30帧率，那么time_base 就等于 0.0333； delay = pts - is->frame_last_pts; //算出大致的延迟时间diff = pts - get_audio_colock();delay = diff<-thresh ? diff>thresh ? 1.6*delay : delay //diff太小了 delay就小一点，diff 太大了 delay就大一点
actual_delay = delay + is->frame_timer - av_gettime()/ //算出实际延时实际延时就等于上一次的 delay -（getTimeLast - getTimeCurr)(程序运行耗时)
Sleep((int)(actual_delay * + 0.5));

3. 音频解码+播放

fill_audio(void *udata,Uint8 *stream,int len){player->m_AudioPackQueue.packet_queue_get(player->m_TempPack,)； //从队列拿包
len1 = avcodec_decode_audio3;//解码
audio_clock = AVPacket ::pts * av_q2d(AVStream::time_base);//音频时钟
memcpy(stream...）；//喂给播放器}

2. 一些变量的含义

2.1 timebase

pFormatCtx->streams[0]->time_base： 1/90000。为什么是90000？因为mpeg的pts、dts都是以90kHz来采样的，所以采样间隔为1/90000秒。

AVPacket下的pts和dts以AVStream->time_base为单位(数值比较大)。这也很容易理解，根据mpeg的协议，压缩后或解压前的数据，pts和dts是90kHz时钟的采样值，时间间隔就是AVStream->time_base。

AVFrame里面的pkt_pts和pkt_dts是拷贝自AVPacket，同样以AVStream->time_base为单位；而pts是为输出(显示)准备的，以AVCodecContex->time_base为单位)。//FIXME

codec/decode层timebase，h264随着帧率变化例如1:25 aac根据采样率变化例如1:44100。

从上面可以看到，InputStream下的pts和dts以AV_TIME_BASE为单位(微秒)，至于为什么要转化为微妙，可能是为了避免使用浮点数。

综上： streams AVPacket AVFrame 都是同样的timebase=1/90K codec/decode timebase=1/25 (随帧率变化)

如果要获得当前时钟（秒） seconds = av_q2d(timeBase) * pts;