Android: YUV_420_888编码Image转换为I420和NV21格式byte数组
Android: convert YUV_420_888 image format Image to YUV420Planar (I420) and YUV420SemiPlanar (NV21) color format byte array (raw file).
背景
代码思路来自Android CTS,出处见参考
从Android SDK 21开始,Android就开始推行新的原始(未压缩)图片数据的载体类Image
,和新的YUV格式YUV420Flexible
,配套YUV_420_888
,用来统一Android内部混乱的中间图片数据(这里中间图片数据指如各式YUV格式数据,在处理过程中产生和销毁)管理。主要体现在两个方面:其一,新的Camera2
把以前的Camera
deprecated掉了,而Camera2
输出的帧信息就采用的Image
,默认格式为YUV_420_888
;其二,硬件编解码的MediaCodec
类加入了对Image
和Image
的封装ImageReader
的全面支持,并推荐采用YUV420Flexible
进行编解码。
但YUV420Flexible
是一类YUV格式的集合(后面会简单介绍),怎么从其中得到确定的YUV格式如YUV420Planar(I420)和YUV420SemiPlanar(NV21)呢?Android没有提供现成的方法,只能靠自己实现啦。不过还好,我在Android的CTS测试的代码中找到了一些蛛丝马迹,最后实现了这样一个通用的转换方法。
本方法适用于绝大部分YUV420Flexible
格式的转换,对于1920x1080的图片,能够在30ms内完成转换
思路
关于YUV420和Image
的介绍,参见Android: Image类浅析(结合YUV_420_888)。
思路实际上很简单,就是从Image
中得到YUV分量的颜色数据,再按指定格式拼起来,就是想要的结果了。麻烦的地方就是如何获取U和V分量了,如上链接中专门谈到了这个问题。
实现
转换
代码
private static final int COLOR_FormatI420 = 1;
private static final int COLOR_FormatNV21 = 2;
private static boolean isImageFormatSupported(Image image) {
int format = image.getFormat();
switch (format) {
case ImageFormat.YUV_420_888:
case ImageFormat.NV21:
case ImageFormat.YV12:
return true;
}
return false;
}
private static byte[] getDataFromImage(Image image, int colorFormat) {
if (colorFormat != COLOR_FormatI420 && colorFormat != COLOR_FormatNV21) {
throw new IllegalArgumentException("only support COLOR_FormatI420 " + "and COLOR_FormatNV21");
}
if (!isImageFormatSupported(image)) {
throw new RuntimeException("can't convert Image to byte array, format " + image.getFormat());
}
Rect crop = image.getCropRect();
int format = image.getFormat();
int width = crop.width();
int height = crop.height();
Image.Plane[] planes = image.getPlanes();
byte[] data = new byte[width * height * ImageFormat.getBitsPerPixel(format) / 8];
byte[] rowData = new byte[planes[0].getRowStride()];
if (VERBOSE) Log.v(TAG, "get data from " + planes.length + " planes");
int channelOffset = 0;
int outputStride = 1;
for (int i = 0; i < planes.length; i++) {
switch (i) {
case 0:
channelOffset = 0;
outputStride = 1;
break;
case 1:
if (colorFormat == COLOR_FormatI420) {
channelOffset = width * height;
outputStride = 1;
} else if (colorFormat == COLOR_FormatNV21) {
channelOffset = width * height + 1;
outputStride = 2;
}
break;
case 2:
if (colorFormat == COLOR_FormatI420) {
channelOffset = (int) (width * height * 1.25);
outputStride = 1;
} else if (colorFormat == COLOR_FormatNV21) {
channelOffset = width * height;
outputStride = 2;
}
break;
}
ByteBuffer buffer = planes[i].getBuffer();
int rowStride = planes[i].getRowStride();
int pixelStride = planes[i].getPixelStride();
if (VERBOSE) {
Log.v(TAG, "pixelStride " + pixelStride);
Log.v(TAG, "rowStride " + rowStride);
Log.v(TAG, "width " + width);
Log.v(TAG, "height " + height);
Log.v(TAG, "buffer size " + buffer.remaining());
}
int shift = (i == 0) ? 0 : 1;
int w = width >> shift;
int h = height >> shift;
buffer.position(rowStride * (crop.top >> shift) + pixelStride * (crop.left >> shift));
for (int row = 0; row < h; row++) {
int length;
if (pixelStride == 1 && outputStride == 1) {
length = w;
buffer.get(data, channelOffset, length);
channelOffset += length;
} else {
length = (w - 1) * pixelStride + 1;
buffer.get(rowData, 0, length);
for (int col = 0; col < w; col++) {
data[channelOffset] = rowData[col * pixelStride];
channelOffset += outputStride;
}
}
if (row < h - 1) {
buffer.position(buffer.position() + rowStride - length);
}
}
if (VERBOSE) Log.v(TAG, "Finished reading data from plane " + i);
}
return data;
}
分析
代码有些长,慢慢分析。首先判断格式是否支持,ImageFormat
中只支持YUV_420_888
、NV21
以及YV12
。
channelOffset
指分别将每个分量数据写入到byte[]中时的初始偏移量,outputStride
则是专门为NV21
准备的,用来指定写入数据的间隔,即步长。
接下来对每个分量进行处理,对于每个分量,首先通过一个switch确定在不同分量和不同输出格式情况下的channelOffset
和outputStride
;I420很容易,对于NV21,由于UV分量交错存储,且V分量在前,所以U的channelOffset
比V大1,且两者的outputStride
都是2。
再往下就是获取到分量的ByteBuffer
、rowStride
和pixelStride
。然后根据CropRect
定位到第一个颜色值点,CropRect
可以理解为图片中指定的一个矩形区域,需要输出的是这个矩形区域的图片数据,注意由于YUV420中U和V的采样数目比Y少,在确定第一个点时也要单独考虑。
再接下来就是逐行获取颜色数据,然后写入到输出的byte[]中,比较简单不需要过多解释。
写入文件
YUV
得到转换后的byte[]后就可以直接写入到文件了,比如一个通用的写入方法
private static void dumpFile(String fileName, byte[] data) {
FileOutputStream outStream;
try {
outStream = new FileOutputStream(fileName);
} catch (IOException ioe) {
throw new RuntimeException("Unable to create output file " + fileName, ioe);
}
try {
outStream.write(data);
outStream.close();
} catch (IOException ioe) {
throw new RuntimeException("failed writing data to file " + fileName, ioe);
}
}
注意:由于YUV格式文件仅包含颜色数据,应当在.yuv文件名中标注出分辨率(和格式)信息
JPEG
没错,你还可以将得到的byte[]保存为JPEG格式,不可思议吧?
我们借助于YuvImage
类的compressToJpeg()
方法,这个方法借助Android的JNI,实现了非常高效率的JPEG格式文件写入(比Bitmap.compress()
效率都要高不少),我这里测试可以在30ms完成整个JPEG写入过程。
private void compressToJpeg(String fileName, Image image) {
FileOutputStream outStream;
try {
outStream = new FileOutputStream(fileName);
} catch (IOException ioe) {
throw new RuntimeException("Unable to create output file " + fileName, ioe);
}
Rect rect = image.getCropRect();
YuvImage yuvImage = new YuvImage(getDataFromImage(image, COLOR_FormatNV21), ImageFormat.NV21, rect.width(), rect.height(), null);
yuvImage.compressToJpeg(rect, 100, outStream);
}
注意:YuvImage目前仅支持NV21和YUY2格式。且通过分析其C++实现代码,和ffmpeg对生成.jpg图片的解析发现,compressToJpeg()
并没有进行YUV向RGB的转化,也就是说重新解码生成的.jpg文件,可能不会得到像素点的RGB信息。
效果
对于YUV,将数据写入到文件后就可以通过YUV查看软件直接打开了。如果你打开不显示或不能正确显示图片,记得在软件中手动设置图片的大小和格式信息。效果如下图所示
对于JPEG,可以直接双击打开。效果如下图所示
参考
- Image | Android Developers
- ImageFormat | Android Developers
- Image.Plane | Android Developers
- MediaCodecInfo.CodecCapabilities | Android Developers
- tests/tests/media/src/android/media/cts/ImageReaderDecoderTest.java - platform/cts - Git at Google
- YuvImage | Android Developers
- platform_frameworks_base/YuvImage.java at master · android/platform_frameworks_base
- platform_frameworks_base/YuvToJpegEncoder.cpp at master · android/platform_frameworks_base
- Android Yuv图像转jpg方法 - - ITeye技术网站
Image转化为I420,我想把这个方法放在jni上操作(提升速度),但对于ByteBuffer的操作,比如position方法,jni难以掌控。请问有办法实现吗?谢谢
你这个我做到了 ByteBuffer可以在native 通过GetDirectBufferAddress拿到指针首位置 然后按正常指针去用就行了, pos 跟简单 就是ByteBuffer的指针头部+pos偏移量 就可以了 因为指针+偏移量 就类似 我们的ByteBuffer.position()
楼主的代码在部分手机上还是有问题,最后用cts的代码解决了[表情复杂]
大佬,您好,我这边遇到vivo部分机型,出现绿条的现象,想请教下您部分机型遇到的问题是这样的吗?是用哪个版本cts的代码解决的?
地址是这儿
https://android.googlesource.com/platform/cts/+/master/tests/tests/media/src/android/media/cts/ImageReaderDecoderTest.java#773
有个问题请教下楼主,关于转jpg那段
ImageReader.newInstance(width, height, ImageFormat.JPEG
这个方法可以设置成获取jpg类型图片。文中写的对比这种方式有哪些优势?
请教下,我现在做屏幕共享,请问这个转码有什么思路?大概是H264->NV21
如何把从Android Camera2得到YUV_420_888格式转换为YUV422(UYVY)
pixelStride 1 rowStride 720 width 720 height 480 buffer size 345600 Finished reading data from plane 0 pixelStride 2 rowStride 720 width 720 height 480 buffer size 172799 Finished reading data from plane 1 pixelStride 2 rowStride 720 width 720 height 480 buffer size 172799 Finished reading data from plane 2从Carera2得到Image的具体信息如下。
理论上直接使用文中的getDataFromImage()就可以哟,你想要自己拼成想要的格式的话参考如getDataFromImage()里NV21和I420的区别就能摸索出来哟
评论区没有格式啊,很难看。
能否联系我一下,QQ聊?
23409837@qq.com
模仿你的加了个分支,帮忙看看哪里有问题,保存出来的图片的某些颜色显示不正常,还有花点存在。
if (colorFormat != COLOR_FormatI420 && colorFormat != COLOR_FormatNV21 && colorFormat != COLOR_FormatYUYV422_UYVY) { throw new IllegalArgumentException("only support COLOR_FormatI420 " + "and COLOR_FormatNV21" + "and COLOR_FormatYUYV422_UYVY"); } if (!isImageFormatSupported(image)) { throw new RuntimeException("can't convert Image to byte array, format " + image.getFormat()); } Rect crop = image.getCropRect(); int format = image.getFormat(); int width = crop.width(); int height = crop.height(); Image.Plane[] planes = image.getPlanes(); byte[] data = new byte[width * height * 2]; byte[] rowData = new byte[planes[0].getRowStride()]; Log.e(TAG, "get data from " + planes.length + " planes" + "format is " + format); int channelOffset = 0; int outputStride = 1; for (int i = 0; i < planes.length; i++) { switch (i) { case 0: if(false) { channelOffset = 0; outputStride = 1; } else { //for YUV422 UYVY channelOffset = 1; outputStride = 2; } break; case 1: if (colorFormat == COLOR_FormatI420) { channelOffset = width * height; outputStride = 1; } else if (colorFormat == COLOR_FormatNV21) { channelOffset = width * height + 1; outputStride = 2; } else { //for YUV422 UYVY channelOffset = 0; outputStride = 4; } break; case 2: if (colorFormat == COLOR_FormatI420) { channelOffset = (int) (width * height * 1.25); outputStride = 1; } else if (colorFormat == COLOR_FormatNV21) { channelOffset = width * height; outputStride = 2; } else { //for YUV422 UYVY channelOffset = 2; outputStride = 4; } break; } ByteBuffer buffer = planes[i].getBuffer(); int rowStride = planes[i].getRowStride(); int pixelStride = planes[i].getPixelStride(); Log.e(TAG, "pixelStride " + pixelStride); Log.e(TAG, "rowStride " + rowStride); Log.e(TAG, "width " + width); Log.e(TAG, "height " + height); Log.e(TAG, "buffer size " + buffer.remaining()); int shift = (i == 0) ? 0 : 1; int w = width; // >> shift; int h = height;// >> shift; buffer.position(rowStride * (crop.top >> shift) + pixelStride * (crop.left >> shift)); Log.e(TAG, "buffer position " + buffer.position()); for (int row = 0; row < h; row++) { int length; if (pixelStride == 1 && outputStride == 1) { length = w; buffer.get(data, channelOffset, length); channelOffset += length; } else { if (i == 0) { length = w; buffer.get(rowData, 0, length); } else { if(row == h - 2) { length = w - 1; } else { length = w; } if( row % 2 == 0) { // Log.e(TAG, "row is " + row + "length " + length); buffer.get(rowData, 0, length); } } if(colorFormat != COLOR_FormatYUYV422_UYVY) { for (int col = 0; col < w; col++) { data[channelOffset] = rowData[col * pixelStride]; channelOffset += outputStride; } } else { if(i == 0) { for (int col = 0; col < w; col++) { data[channelOffset] = rowData[col * pixelStride]; channelOffset += outputStride; } } else { for (int col = 0; col < w-1;) { data[channelOffset] = rowData[col]; col = col + 2; channelOffset += outputStride; } } } }private static byte[] getDataFromImage(Image image, int colorFormat) {
// if (row < h - 1) {
} Log.e(TAG, "Finished reading data from plane " + i); } Log.e(TAG, "data length is " + data.length); return data; }// buffer.position(buffer.position() + rowStride - length);
// }
大佬 膜拜!
这是高手!
确实是高手,解决了我遇到的问题!
开发过程涉及到camera1 api和camera2 api 适配。期望统一输出yuv_420_888 格式,但是在camera1中通过onPreviewFrame(byte[] data) 获取的帧数据设置到nv21。所以现在很困惑怎么把nv21格式转成yuv_420_888。
yuv_420_888就是I420哟,NV21转I420只是简单的把数组元素位置重组一下,如上代码里就实现了相关的转换哟~还可以参考https://www.polarxiong.com/archives/Android-Image%E7%B1%BB%E6%B5%85%E6%9E%90-%E7%BB%93%E5%90%88YUV_420_888.html
高手也很努力,感谢您的努力。我要咨询一点,30ms转格式吗?超过了16.6或者33.3,不太理解怎么完成流畅度。
不太理解你要表达的意思呢~
30fps需要33.3,60fps需要16.6,加上框架和屏的延时几毫秒的要求,出来数据的速度达不到显示需求的速度,这样怎么能播放流畅?应该会掉帧,我有理解错误?我和同事sync,mediacodec可以直接输出yuv给surfaceview,转一次的原因是中间有特效和算法处理需求吗?可以加我148103075 qq讨论。
MediaCodec需要转换是为了能够适应不同设备,如果你的设备芯片可控那就可以省掉这步数组转换的步骤啦。
确实使用MediaCodec解码时如果时间达不到要求会出现延时,但我觉得掉帧其实是一个解决方法,MediaCodec本身不会掉帧,另外使用MediaCodec拿到每一帧后的时间同步也是一个需要注意的问题。
你好,我有个疑问:data分配width height ImageFormat.getBitsPerPixel(format) / 8这里不是仅仅是Y值的存储大小吗,另外U和V的存储大小不需要加上去吗?应该为
width height ImageFormat.getBitsPerPixel(format) / 8+sizeof(U)+sizeof(V)吗?
哈哈那你觉得ImageFormat.getBitsPerPixel(format)这个的值会一直是8么?
我电脑暂时没有Android开发环境,你可以试试把这个值打印出来你就明白啦~
一般来说是8,就按8来说这个size是不是有问题呢?
楼主你好,我这边使用YUVimage的方式得到的图片有绿线,而是用yuv保存完成后用插件打开是没有问题的,但是是yuv420的格式,请问如果去处理这一块?
YUVImage是native代码恐怕不太好debug,不过在使用YUVImage时实际是用的NV21格式的数据,你可以保存为NV21格式再用相关软件打开看会不会有绿线。
YUV420转成图片的话挺麻烦也挺耗时的,一般需要先转成RGB格式,再保存为图片的。
您好,我这边是录屏功能,获取Image 返回的是null
ByteBuffer encodedData = mVideoEncoder.getOutputBuffer(index); boolean doRender = (buffer.size != 0); if (doRender) { Image image = codes.getOutputImage(index); Log.v("Nancy","codes is value : " + image); byte[] imagebuffer = new byte[buffer.size]; if(image!=null){ outData = getDataFromImage(image, 2);//指定解码帧为 NV21 image.close(); } mCallback.onPreviewFrame(outData, mWidth, mHeight); }codes 是有数据的 (codes is value : {mime=video/raw, slice-height=720, color-format=2130708361, using-sw-read-often=1, width=480, height=720, color-standard=4, color-range=2, color-transfer=3, stride=480})
请问这个会是什么远远,谢谢
抱歉这段时间比较忙,可能没时间仔细分析你的问题。
不过我遇到过的类似的情况是数据之前被设置输出到了surface,这时再从getOutputImage拿数据的话是会返回null的,不知道你是不是这个问题?
length = (w - 1) * pixelStride + 1; 等号后边的公式什么意思,能解释以下吗,有点迷糊
这个在上文中提到的另一篇文章中有解释哟,简单来说就是为了处理如UVUVUV这样的间隔的数据的,一言难尽呐
你好,你用的yuvview工具像是mac上的,能给我发个链接吗
叫做YUView: https://github.com/IENT/YUView
你好。 对不起,我不会说中文。 我只会说英语。 我正在使用Google翻译给您写信。 非常好的文章。 但是,你怎么知道使用Image对象的颜色格式? YUV_420_888可以是NV21或YV12。 但是,你如何解决Image使用哪种颜色格式?
Hi, there is no need for you to find out the specific YUV format of the Image object, since Image has already separated the Y, U and V channel. All you need to do is to rearrange Y, U and V channel data to fulfil the standard of NV21 or YV12 format.
I have to add Chinese to pass my spam detector,希望能够帮到你。
有420_888格式的byte转nv21的byte格式的方法吗
貌似如果没有额外信息的话,是不可能的。420_888对应很多种YUV420的小格式,在不确定源编码的情况下,是不能转换得到目的编码的。
可以用neon优化这块代码吗
你要是说用neon来并行化那个完全可以的,因为for循环不涉及到前后数据的关联。但neon会涉及到JNI,可能需要复制数组,所以我比较怀疑效率。
博主你好,请问你有尝试过把getDataFromImage获得的YUV数据在jni层转成Opencv的Mat吗,我这边有一套做这些的转换的代码(实际上就是cv的cvtColor()方法),跑camera2API获得的image一直都没有什么问题,但是在转你的byte数组的时候,明明转成BGR的byte数组长度应该是192010803 = 6220800,但是转出来的数组长度却是6266880,然后不知道是不是因为这个原因,程序一跑起来就越界了,单步调试就没有[感觉也可能是GC相关的问题].然后这个BGR数组我转成BITMAP以后会感觉到好像某个颜色通道的位置网上偏移了一点,图片下方3%的地方变成了绿色和紫红色的乱掉的样子,博主有什么头绪吗?
看了一下貌似decoder得到的image的height变成了1088....难道是博主说的android要用一个getRect什么的?
抱歉回复晚了,看你已经解决问题了...不过1920x1088真的是普遍存在的呢,天知道为啥有1088这种分辨率....
大部分decode都需要使用16位或者32位对齐,1088是对齐后的结果。
打开新世界的大门~
博主大大,能不能解释下后面那段写入到输出byte数组的代码?前面都懂,后面这块有些地方不是很明白,谢谢!
for (int row = 0; row < h; row++) { int length; if (pixelStride == 1 && outputStride == 1) { length = w; buffer.get(data, channelOffset, length); channelOffset += length; } else { length = (w - 1) * pixelStride + 1; buffer.get(rowData, 0, length); for (int col = 0; col < w; col++) { data[channelOffset] = rowData[col * pixelStride]; channelOffset += outputStride; } } if (row < h - 1) { buffer.position(buffer.position() + rowStride - length); } }buffer.position(rowStride (crop.top >> shift) + pixelStride (crop.left >> shift));
这个其实就是按照I420或NV21格式重拍数据的方法,为了通用性起见就写的不是那么直观。你可以手动模拟代码的运行,一直跑到第9个byte就能弄清楚工作原理了,不过首先要弄清楚如NV21格式的YUV数据排列方式噢
getDataFromImage函数第二个参数colorFormat,需要手动指定吗?看你前一篇blog,应该是根据rowStride、pixelStride来判断出来是NV21还是I420,所以这里colorFormat参数感觉没有必要
大概你理解的有点误差呢,简单来说getDataFromImage是把Image转换成NV21或I420格式,所以第二个参数是根据自己的需要来的,如果你希望直接用Image当然也可以跳过这一步。rowStride、pixelStride是用来将Image转换成NV21或I420格式的byte[]的,与NV21或I420并没有直接的联系。
效率太低了 ,简直无法忍受........
你是指Image转成byte[]的I420或NV21效率太低?抱歉目前找不到更快速的方法了,I420可能会快一些,NV21还需要遍历交错插入。
如果你想绕过Image转byte[]这步,目前我只能说唯一的解决办法是绕过生成Image那步,直接生成byte[]。
如果你有更好的方法,欢迎反馈!
你好,我这边也是用mediacodec解码的,需要得到统一的I420格式。由于分辨率比较高(1550*1550)比1080p还大点儿。用image也比较慢,有没有高效的转换方式呀。我们需要控制在20ms内最好。麻烦请教一下?
先谢过楼主的分享!
我的情况和你差不多,我的视频源1080p,我没有使用getOutputImage,而是直接使用getOutputBuffer,从ByteBuffer中可以直接得到byte[]就是NV21格式,然后使用openCV转为BGRA。耗时情况是byte[]转mat(YUV)花了12ms左右然后cvtColor转为mat(BGRA)花了15ms左右,这是我目前测试中最好的成绩。
基本可以满足我的需求,但是图像失真严重,肉眼都可以看得出来。
请问你的情况如何,可否分享一下?
从目前来说是没有更好更快的方法了。我能想到的还能够加快处理速度的就是回去继续用MediaCodec以前的方法(即不用Image类),这样可能可以MediaCodec直接输出I420格式,不需要经过Image的中转,但坏处也很明显,只有特定的设备支持直接输出I420。