只要算法够厉害，白墙能当镜子用：我初中物理都白学了 | Nature新论文
边策 安妮 发自 凹非寺量子位 出品 | 公众号
通过墙壁漫反射的光影，能重建原始画面么？
现在可以了。这不是科幻。
一篇新论文登上了，论文中显示，仅仅用一台普通的数码相机，仅仅凭借墙上模糊不清的光影，就能还原最初的画面。
先来考考大家。下面这个漫反射光影，你能看出什么来？
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_0.jpg
其实这是一个蘑菇。那下面这个是什么？
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_1.jpg
很相似是不是？但这是一张人脸……
你看不出来，但是厉害的算法，真的能凭借这种漫反射，还原逼真的原始画面。无图无真相。下面就是三个重建的实例。
首先放墙上的漫反射光影。
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_2.jpg
然后是算法重建的图像。
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_3.jpg
震不震惊！这个效果，简直就是把一面墙，变成了一面镜子！
不信？再来对比一下原图。
无论是红黑两色组成的英文字母传递的暗号：
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_4.jpg
还是超级马里奥里熟悉的蘑菇：
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_5.jpg
甚至神似辛普森一家中角色的戴红色棒球帽的复杂头像，这个算法都能够通过一面墙一五一十还原出来：
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_6.jpg
这个AI算法无需借助昂贵的拍摄器材就能还原屏幕，甚至你在自己家都可以把实验模拟操作模拟出来。
研究人员在一间普通的房间的一端放置了一块屏幕，屏幕上显示图案，面向对面的墙壁。
这块屏幕旁边有一套普通的数码摄像机，同样面向对面的墙壁，不过摄像机与屏幕间隔了一块挡板，摄像机根本没有机会直接拍摄到屏幕上的画面。
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_7.jpg
研究人员采用了一台400万像素的数码相机完成这个实验，售价约为1400美元（约人民币9500元），研究人员预计比此前用脉冲激光相机探物便宜了至少30倍。
而这台数码摄像机要做的，就是通过拍摄屏幕发射到对面墙壁的光，还原屏幕上的图像。
实验难度还在加大：研究人员还在房间中间随手放置了一个不明位置的遮挡物体，可以是一块不发光的板子，也可以是随手拽过来的一把椅子，阻挡一部分光线到达墙壁。
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_8.jpg
在整个拍摄过程中，数码相机能捕捉到的只有墙上斑驳的光影。
在这项研究公布之前，这种想法被视为不可能的存在：普通摄像机、一块普通屏幕，一把随意搬过来的椅子加一面墙，如何还原屏幕上五彩斑斓的未知图案，甚至是动图？
甚至连专业物理学家都不看好。
荷兰乌得勒支大学的光学物理学家 Mosk曾表示：“人们认为，在没有任何先进仪器的情况下，只利用墙面上漫反射的光重建图像几乎是不可能的。”
没想到，这群波士顿大学的研究人员做到了。
让墙变成镜子
先让我们来复习一下初中物理知识：
物体对光线的反射分为镜面反射和漫反射两种。镜子能让我们看清物体，是因为镜子表面光滑，能把光线按照某个固定方向反射回去。
但墙面是粗糙的，当屏幕上的光投射到上面时，光线会往各个方向反射，我们称之为“漫反射”。
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_9.jpg
在常识中，我们是无法通过漫反射的混乱光线恢复物体原貌的。之前也有些技术能恢复图像，但对光线的要求极高，比如激光，成本也高得多。而波士顿大学的Vivek K Goyal小组这项只需要研究普通照相机。
on the wall！只要算法够强，墙面也能变成镜子！
与镜面成像不同的是，在镜子前个东西加与阻挡视线，而在屏幕和墙面之间插入障碍物，反而会降低我们还原图像的难度。
这看似违反常识，其实是有道理的。想象一下小时候做过的“小孔成像”实验，当光线只能通过一个小孔时，屏幕的光就会在墙面上形成清晰图像。
显示器和墙面之间的障碍物减少了杂散光线，让入射光线更少，就能让成像稍微清晰一点。
当然，Goyal的研究没有把入射光线限制在太小的范围里，而是用算法从墙上的阴影中恢复屏幕原来的样子。虽然现在只能恢复任天堂8位机那种简单的图像。
以上只是定性的描述，若要精确恢复屏幕上的图像，我们需要建立墙面上各点亮度与屏幕亮度的函数关系：
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_10.jpg
在上面方程中，Pw是墙上的点，x是屏幕上的点，P0是障碍物上的点，nx和nw分别是显示器与墙面的法向量，Pw-x表示的是从点x指向Pw的向量。
以上方程中，I(Pw)我们可以用相机照片获得，通过以上方程反向推算出f(x)。
如果没有障碍物，V处处等于1，I(Pw)与f(x)的依赖关系太弱，反而不利于恢复图像，这也是在屏幕和墙面之间加入障碍物的原因。
以上方程太复杂，也不利于计算。既然屏幕的光照越强，墙上的点也就越亮，我们可以把上面的积分方程转化为一个线性方程。
y=A(po)f+b
y是墙上各点的亮度，我们选取126×126个点，也就总共15,876个变量的方程组，其中A(P0)代表一个变换矩阵。
其实Goyal小组去年已经做出了相关成果，但当时必须要知道障碍物的形状以及位置，才能恢复图像。
但这次他们把难度又提高了一个档次，仅仅知道障碍物的形状，却不知道位置。
Goyal的方法是，先估计出障碍物的位置，再通过平均位置附近的49组数据反向恢复图像。
再发展下去，他们的算法连障碍物是什么形状都不需要知道，只通过墙上模糊的影子，就能它的样子。
相关研究
通过AI算法分析光影预测直接看不到的物体不仅有这一种方法，早在2010年，MIT Media Lab的研究人员已经有了成果。
和波士顿大学不同，这种方法需要单独购置特殊设备，即一台能够发射出激光的相机。
与耳朵接收回音类似，这种方法通过手机激光照在物体表面的反射路径，算法预测角落中直接看不到的物体。
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_11.jpg
2017年，MIT计算机科学和人工智能实验室（CSAIL）又开发了一种新算法，这个AI系统可以借助智能手机的摄像头，收集光反射的相关信息，检测隐藏在障碍物后的任何物体，还能实时测量它们的移动速度和行进轨迹。
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_12.jpg
想象一下，你走在一条“L”形的走廊上，拐角的另一边放置了一堆杂物。这些杂物投射在你视线内地面上的少量光线，形成一个模糊的阴影，我们称之为“半影”。
AI系统就利用了智能手机摄像头中半影的视频，将一系列一维图像组合在一起，揭示周围物体的信息。
研究人员将这个“透视眼”系统称为“角落相机”（），研究人员表示，这种方法在室内和室外的效果都还不错。
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_13.jpg
这种方法也有弊端，如果如果隐藏的场景本身光线暗，系统的识别也会有问题，此外，智能手机的相机像素也影响收集的图像质量，相机里障碍物越远，系统收集的图像质量也越差。
但在最新研究中，这种弊端不会显现，波士顿大学的研究人员表示，从理论上讲，你不仅可以拍摄屏幕，还可以拍摄同一房间内任何灯光昏暗的物体。
传送门
可移步原文继续了解，论文with an ：
作者： , John -Bruce & Vivek K Goyal
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_14.jpg
作者系网易新闻·网易号“各有态度”签约作者
— 完 —
2018中国人工智能领航企业
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_15.jpg
加入社群
量子位AI社群开始招募啦，欢迎对AI感兴趣的同学，在量子位公众号（）对话界面回复关键字“交流群”，获取入群方式；
此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。
进专业群请在量子位公众号（）对话界面回复关键字“专业群”，获取入群方式。（专业群审核较严，敬请谅解）
诚挚招聘
量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号()对话界面，回复“招聘”两个字。
http://kuailexuexi.net/data/attachment/forum/20241003/1727956988209_16.jpg
量子位 · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「好看」吧 !
页:
[1]