外挂的芯片是为了实现某一场景下更好的综合表现, 其中就包括了能效和最终性能指标.
但是实际性能指标是一个比较复杂的概念, 而且性能指标也不能和追踪效果划等号.
这里就涉及到专用芯片的「可编程性」问题

我们知道 ISP 是 DSP 的一种. 而 ISP 的管线是相对固定的(比如解拜耳,算画面锐度/曝光量, AWB 之类的运算).
CPU 的可编程性最高, 高于 GPU, 但是相对能效是最差的; 即便 GPU 有着比 CPU 更强的能效和绝对性能, 但是在特殊 ISA 的可编程处理器面前, 能效还是不足. 因此在 Pixel 2 上引入了基于 IPU 架构、SiP 封装的 Pixel Visual Core.

PVC 的 ISA 细节, 以及和图像相关的算法不展开讨论. 但是 PVC 提出了一个双层 ISA 的概念, 也就是一层是类似高级语言的 ISA, 另外一层是 PVC 专门针对 HDR+ 运算而设计的可编程架构.
这种两层结构一方面是提升了可编程性, 使得 PVC 上更容易实现算法的迭代, 包括实现更新的算法; 另外一方面增强的算法的移植性, 这就是为什么后面的 Pixel 3a 没有配备 PVC, 仍然可以拍摄 HDR+ 和 Night Sight 照片.

到了如今, 很多厂商开始走类似 Pixel 的路子, 推出独立的 ISP/NPU 芯片. 当然除了运算部分的创新外, 通常也采用了更激进的存储结构, 比如独立 DRAM 或者超大 SRAM 降低功耗, 完成对 SoC/主存 压力的卸载.
但问题是, 如果厂商有了足够的能力, 就可以自己造 SoC, 比如如今的 Google Tensor 上的 TPU 就是 Google 自己的设计的专用神经网络架构.

除了单纯的改善画质之外, 通过 TPU 和定制的算法, Pixel 6 还带了很多有意思的功能.
比如拍摄有色人种的肖像时, 能更好的还原肤色的色调.

拍摄具有运动感的照片

消除不想要的运动模糊:

还有去掉画面中抢镜的路人:

除了拍照之外, TPU 还实现了部分的本地智能功能, 比如自动生成字幕的 Live Caption 功能.

当然, 不只是 Google, 也用 NPU 实现了大量功能, 而且第三方软件也可以利用到. 当然这一切都是建立在单一 SoC 的基础上.
Google 唯一没有集成的, 就是 M2 Titan 芯片. 这是因为这类密码学安全芯片需要大量的抗侧信道攻击设计, 保证内部的密钥很难被提取.


前些年开始, 很多公司都开始配置个人密码学设备, 就是为了应对日益复杂的安全挑战. 通过独立的密码学硬件去管理身份, 实现更可靠的双因素/多因素认证.

情趣用品,延时产品,各种都有,添加 微信:yztt15 备注:情趣!
如若转载,请注明出处:https://www.i1026.com/827.html