基于Qualcomm技术利用机器学习改变摄影技术

如何改造在我们周边司空见惯的硬件？Qualcomm®月度开发者Nikos Fragoulis给我们带来了一些有趣的答案。

我们可以连接更多的设备。也许物联网繁荣的动力就来自于物联网设备的新“智能”。嵌入式和云机器学习技术为我们的移动设备带来了新的可能性。

Nikos Fragoulis深知这一点。目前正在其公司IRIDA Labs使用异构计算、计算机视觉和机器学习。其目的是赋予联网相机新的成像方法。

我们和Nikos见面聊了聊计算摄影这方面的技术。

Nikos Fragoulis

能否先请您介绍一下您的公司？

IRIDA Labs希望通过为设备搭建相机并提供视觉感知技术来缩短与人眼之间的差距。我们通过采用异构编程技术的CPU、GPU或者DSP/ASP平台以及其组合结构平台的图像处理、机器学习技术来开发计算机视觉软件。

我们的产品和技术包括计算摄影和视觉感知/分析应用，服务于各种市场，如移动设备、运动相机、无人机、监控、汽车、工业和机器人视觉。

您的公司是如何创立的？

我们三个人一起在本地一所大学做博士后研究。我们决定试试运气，看看能不能将我们的想法换成钞票，而不仅仅是论文！

2009年，我们成立了公司，到目前为止已经推出了一系列产品，解决了创新计算机视觉的解决方案所面临的挑战，同时保持最优系统要求，平衡功耗、内存和处理速度。

您对其他开发者有什么建议吗？

企业家，即使极其成功，也只是和你我一样，没有三头六臂。所以，放开手脚去干吧，说不定就成功了呢！沿途的风景和终点同样具有不凡的意义。

您能和我们分享公司的一件趣事吗？

我们很多人玩乐器。所以，在招聘新员工时，如果他也碰巧玩乐器的话，我们会说：“我正在重组乐队...”，借用《蓝调兄弟》电影中的一句台词。

面部检测

您喜欢嵌入式和物联网开发的哪些方面呢？

我认为它具备一种潜力，即利用价格实惠的硬件系统，创建可能影响数百万人生活的软件。

您和团队的工作灵感来自何处？

我们的团队大多数人（14人中有8人）都拥有博士学位。我们很多人在学生时代只把计算机视觉和机器学习当作科研领域，而不是一个具有商业机会的技术领域。实现这种技术并使其为大众所用，正是这一点激励着我们。

您在技术方面的偶像是谁？

Mike Lazaridis，生产黑莓手机的RIM公司联合创始人之一。他从零资本开始创业，最后成为一个成功的商人。

面对漫长的一天，您和团队是如何保持充沛精力的？（比如能量饮料、巧克力饼干、小睡片刻等）

灵感和愉快的工作环境是永恒的能量源泉！不过，我们的休息室从不缺少咖啡和零食...

您对未来10年物联网产业的发展有何看法？

这是一个非常活跃的市场，横向影响许多其他终端市场。可能不会达到预计的500亿台设备，但未来十年，家庭、工厂、汽车等等将会安装数十亿台这样的设备。

您正在使用Qualcomm技术开展哪些项目？

IRIDA Labs的商业模式是以B2B的方式提供计算机视觉应用，而不是通过应用商店直接提供给消费者。下面是我们已经开发出的应用：

1. 很酷的计算摄影应用，可以使智能手机的相机媲美数码单反相机，其中部分功能包括：视频稳定（IRIS-ViSTA）、低光增强（IRIS-EnLight）和超分辨率（IRIS- HyperView）。如何以最佳的方式处理图像和视频，而不是像人类一样去感知、理解它们？

我们制作的软件有一项必备特性就是通过机器学习的视觉感知。在每个应用中，计算效率和低功耗至关重要。为此，我们依靠Snapdragon™LLVM Compiler的代码优化功能生成最优代码。此外，我们偶尔还使用FastCV™和Snapdragon SDK for Android以及快速原型设计的关键CV功能并进行性能比较。我们在应用中采用了异构计算技术。包括将系统的计算密集部分卸载到Adreno™GPU和Hexagon™DSP。我们使用Adreno SDK和Hexagon SDK为这些单元开发代码，并管理代码的整体划分。

另一个处理任务的宝贵工具就是Symphony™SDK，我们利用它轻松集成异构系统成分，缩短开发时间。用电量是移动和IoT应用的关键表现，我们使用Symphony电源管理API优化代码以降低功耗。

我们使用Trepn™Profiler分析各关键单元（CPU核心、GPU）的计算负载和用电量，并优化整体性能。实时执行和连续测试是我们开发程序的另一项关键因素。我们发现Snapdragon MDP和DragonBoard™410c是完成这些任务的宝贵工具。

2. 除了计算摄影应用，另一个主要产品线就是自主视觉感知应用。这些应用的特点是具备机器深度学习技术。包括视频脸部识别（IRIS-FaceTag）、自动像片调绘和对象检测。我们暂时还没有在Google Play发布相关应用，但如果您有兴趣，请给我们发送电子邮件，我们很乐意为您发送演示版！

低光校正

您在项目中使用了哪些Qualcomm技术？

1. Adreno Profiler

2. Adreno SDK

3. Dragonboard

4. FastCV

5. Hexagon SDK

6. Trepn Profiler

7. Snapdragon LLVM编译器

8. Snapdragon移动开发平台（MDP）

9. Snapdragon SDK for Android

10. Symphony SDK

有时候我们会使用上面全部技术来开发项目。我们所采用的技术因产品而异。但是，主要目的是构建异构处理代码，我们发现Symphony是执行此项任务的强大工具。通过适当设计的接口，利用Symphony可以方便地将关键代码装载到各种计算单元。

Qualcomm产品如何在您的项目开发中派上用场的？

我们技术的一个关键方面是代码经过超级优化。这样，我们才可以提供现实世界实用的计算机视觉软件，而不会很快耗尽电池，或使设备发烫而超出限值。为此，有助于代码优化和分析计算代码的软件对我们来说非常重要。此外，诸如Dragonboard或Snapdragon MDP之类的开发板可以帮助我们更有效地进行软件原型设计，因为它们能够访问各种计算资源（例如Hexagon），而且还预装了分析软件。

那么，使用这种Qualcomm技术能帮助您克服团队在开发过程中遇到的具体问题吗？

在我们最初进行开发的时候——在我们精通Qualcomm Snapdragon之前，我们非常喜欢使用MARE（即现在的Symphony）分割代码，在Snapdragon处理器各CPU上并行运行。然后我们设法使用这个软件来管理功耗，使其维持在范围之内。我们发现Hexagon GPU在处理低功耗的攻坚战中是一个很有价值的盟友！利用Hexagon SDK，我们设法开发出超高效软件。

使用Qualcomm技术能加速开发流程吗？

虽然我们基本上都是Qualcomm开发者网络软件工具的高级用户，但是到目前为止，我们一直都很喜欢使用Symphony SDK。使用这个软件，可以有效地分割代码，针对Snapdragon处理器进行优化，并通过电源管理API提高电源效率。 

更多Qualcomm开发内容请详见： Qualcomm开发者社区 。