新闻动态

成果发表于2023年11月7日《IEEE TRANSACTIONS ON COMPUTERS》

HASP：用于多神经网络任务的分层异步并行性 深度学习的快速发展推动了许多现实世界人工智能应用的发展。这些应用中的许多集成了多个神经网络（multi-NN），以满足各种功能。多神经网络加速存在两个挑战：(1) 对共享资源的竞争成为瓶颈，(2) 异构工作负载表现出显著不同的计算-存储特性和各种同步要求。因此，资源隔离和对每个任务的细粒度资源分配是多神经网络计算系统的两个基本要求。尽管已经探索了许多多神经网络加速技术，但很少有技术能够完全满足这两个要求，尤其是在移动场景中。本文报告了一种分层异步并行模型（HASP），以提高多神经网络性能，满足这两个要求。HASP可以在采用多指令多数据（MIMD）或单指令多线程（SIMT）架构的多核处理器上实现，需要进行微小的自适应修改。此外，开发了一个原型芯片来验证这种设计的硬件有效性。还开发了相应的映射策略，允许所提出的架构同时促进资源利用率和吞吐量。在相同的工作负载下，原型芯片在MobileNet-V1和ResNet50上分别展示了比Planaria高出3.62倍和3.51倍，比Jetson AGX Orin高出8.68倍和2.61倍的吞吐量。

The rapid development of deep learning