大家好，又见面了，我是你们的朋友全栈君。
@MENGM0
本文使用图像的功率谱特征实现了对高分率伪造人脸图片的检测。
Introduction
文章2019年11月发布在arxiv上，提出了使用图像的功率谱（Power Spectrum）作为特征，使用简单的机器学习方法（SVM）进行伪造图像的取证。作者的Github。
数据集
作者制作了一个名为Faces-HQ的数据集，19GB，真实图片来自CelebA-HQ和Flickr-Faces-HQ，伪造图像来自www.thispersondoesnotexist.com和100K Faces project，每个数据集各1w张，都是高分辨率图像。
功率谱特征
作者求出每个数据集的每张图像的功率谱特征再求平均值，分别画出4条曲线，可以看出真实的图像的x轴对应的能量更低，具有线性可分的特征。
算法流程
下图是算法流程，下面将会介绍怎么提取特征。
首先对图像进行二维离散傅里叶变换，得到幅度谱（Amplitude Spectrum）和相位谱（Phase Spectrum），功率谱是幅度谱的平方。此时将二维的功率谱特征进行方位平均（Azimuthal Average），最终得到一维的功率谱特征。
对于试验的1024×1024大小的图像，提取的特征为722维向量。图像对应的1D功率谱如下图所示。
试验结果
Faces-HQ
Faces-HQ都是高分辨率正脸图像，效果很好，检测率为100%
FaceForensics++
FaceForensics++是Deepfake检测的常用数据集，通过截取关键帧，得到分辨率较低的人脸图像，提取功率谱特征进行训练，检测率为87%
总结：使用GAN网络生成虚假的人脸，可能会残留其固有的“指纹”，就像不同厂家的设备拍的照片的光流不一致，而功率谱特征就可以作为伪造人脸取证的有效特征。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/142877.html原文链接：https://javaforall.net
