大模型与芯片的结合与优化

发布时间：2024-11-20浏览次数：10

演讲者:   Edward，思朗科技，创新业务部负责人

时间:      2024年11月22日下午 15:00-16:30

邀请人:   信息学院

地点:     信息学院 1A-106

 

摘要:

自2022年末OpenAI发布ChatGPT以来，大模型技术浪潮席卷全球，随后其影响力在国内显著增强，底层架构的革新与微调、推理应用的多样化均展现出蓬勃发展的强劲势头。然而同时，美国商务部对英伟达H100/A100芯片的禁售决策，为国内技术生态的稳健前行设置了障碍，迫使国内加快高性能芯片的自主化进程。在此背景下，如何巧妙融合大模型与芯片能力，成为业界关注的焦点，这需要精心规划算力配置、深度优化带宽利用，并全面审视端到端问题，制定详尽的应对策略与优化方案，以在挑战中开辟前行之路，推动技术创新的持续深化。

  


报告人简介:


Edward曾担任国内某头部初创GPU公司：
1. 深度学习框架PyTorch/TensorFlow负责人,曾负责带领跨团队开发与优化上百个深度学习模型
2. 大模型项目负责人,带领跨百人团队达成公司第一个端到端大模型极致性能优化且落地