你的需求还是比较通用的。
首先你需要清楚,你是在哪一个OS: windows or linux or other.
然后,你需要知道是哪一个产家的GPU. 然后找到这个产家的对应的plugin.
ffmpeg-vaapi, ffmpeg-qsv, 或者是 vdpaul都可能是你需要的plugin, 甚至其它,还是需要看你的GPU产家。
关于帧传输,你有一个潜在的0拷贝的需求,在后期验证时,需要留心。
关于对帧的进一步处理,这在技术上属于video post processing,目前ffmpeg比较推荐使用OpenCL来做后处理。