EasyPlayer支持YUV数据导出功能

大家好，又见面了，我是你们的朋友全栈君。

我们可能会遇到这样的功能,播放一个视频的同时,再把这个视频推送出去,或者对视频数据进行智能分析等处理.这样我们就迫切需要得到视频的原始数据.基于这个需求,EasyPlayer增加了获取视频YUV数据的功能.
它的原理是这样的:

一般的播放器在解码之后,直接渲染YUV视频帧,并不做导出处理.因此在实现的时候,我们需要完善第二部分的功能,即解码后的YUV数据导出来.

解码部分需要通过jni来封装给java层调用.

下面代码片段就是解码并返回YUV数据的片段:

nRet = avcodec_decode_video2(pComponent->pCodecCtx, pComponent->pFrame, &got_picture, &packet);
    av_free_packet(&packet);
    if (nRet < 0)
    {
      char av_error[AV_ERROR_MAX_STRING_SIZE] = { 0 };
        LOGI("avcodec_decode_video2 result %d %s \r\n", nRet,
            av_make_error_string(av_error, AV_ERROR_MAX_STRING_SIZE, nRet));
        return nRet;
    }
        if( got_picture)    // 解出一个视频帧了.
        {
            width = pComponent->pFrame->width;
            height = pComponent->pFrame->height;
            int size = avpicture_get_size((AVPixelFormat)pComponent->pFrame->format, width, height);
            uint8_t* buffer = NULL;
            if (*pYUV == NULL){
              buffer = (uint8_t*)av_malloc(size);
            }else{
              buffer = (uint8_t *)*pYUV;
            }
            unsigned int y = width * pComponent->pFrame->height;
            unsigned int u = width/2 * pComponent->pFrame->height / 2;
            unsigned int v = width/2 * pComponent->pFrame->height / 2;

            for (int l = 0;l<height;l++){
                memcpy(buffer + l*width, pComponent->pFrame->data[0] + pComponent->pFrame->linesize[0] * l, width);
            }

            for (int l = 0;l<height/2;l++){
                memcpy(buffer + y +  l*width/2, pComponent->pFrame->data[1] + pComponent->pFrame->linesize[1] * l, width/2);
                memcpy(buffer + y + u + l*width/2, pComponent->pFrame->data[2] + pComponent->pFrame->linesize[2] * l, width/2);
            }
            // 将视频帧付给YUV buffer.
            *pYUV = buffer;
        }

下面是调用的片段:

unsigned char *pYUV = NULL;
unsigned int width;
unsigned int height;
VIDEO_HANDLE *vh =(VIDEO_HANDLE*) handle;
int r = h264_decoder_decode(vh->handle_h264, (unsigned char *)(pBuffer + offset), size, &pYUV, width, height);
jobject buf = NULL;
if (r > 0){
  buf = pEnv->NewDirectByteBuffer(pYUV, width*height * 3/2);
}
return buf;

当解码成功后,我们创建一个DirectBuffer,将yuv数据返回到JAVA层.这样,播放器就可以获取到YUV数据了.

注意这里的pYUV数据,是我们在decoder内部开辟的,我们需要在JAVA层使用结束后,主动释放.该函数传入上个函数返回的DirectBuffer,在底层会获取到其对应的YUV 数据块,然后再释放它.

释放YUV:

JNIEXPORT void JNICALL Java_org_easydarwin_video_VideoCodec_releaseYUV(                                                                             JNIEnv *pEnv, jclass jobj, jobject buffer)
{
    void *pYUV = pEnv->GetDirectBufferAddress(buffer);
    h264_decoder_release((unsigned char *)pYUV);
}

最后,我们看看上层的调用:

// 解码
ByteBuffer buf = mDecoder.decodeFrameYUV(frameInfo, size);
// 将YUV buffer 回调给上层.
if (i420callback != null && buf != null)        i420callback.onI420Data(buf);
// 释放YUV buffer
if (buf != null) mDecoder.releaseBuffer(buf);

关于EasyPlayer流媒体播放器

An elegant, simple, fast android RTSP/RTMP/HLS/HTTP Player.EasyPlayer support RTSP(RTP over TCP/UDP)version & Pro version，cover all kinds of streaming media！EasyPlayer是一款精炼、高效、稳定的流媒体播放器，分为RTSP版、RTMP版和Pro版三个版本，支持各种各样的流媒体音视频协议和文件的播放，在安防、互联网、教育、录播、IPTV等多个领域大放异彩，广泛应用！

EasyPlayer：https://github.com/EasyDSS/EasyPlayer

点击链接加入群【EasyPlayer】：544917793