生成式人工智能和大型语言模型(llm)领域取得了重大进展，它们具有显著的能力和从根本上改变许多领域的潜力。然而，如今llm需要大量的计算和内存才能运行，并且通常在带有云gpu的服务器上运行。我们还介绍了MLC-LLM，这是一个基于Apache TVM的开源项目，可以在PC、移动甚至WebGPU上运行llm。

Speakers:

思远冯: 上海交通大学, 博士生。, 我是上海交通大学致远荣誉项目的博士生。此外，我还是Apache TVM的PMC成员，与社区密切合作并开发新功能，包括TensorIR、Meta-Schedule、Auto-Tensorization和Relax(下一个Relay)。最近，我把时间花在了MLC-LLM上，以便在每个设备上部署一个大型语言模型。