边缘计算：大小模型结合是边缘智能的最优解路径

【导语】2023年，边缘计算领域迎来了大模型开源化的新变革，为规模化应用提供了重要支撑。视觉物联在《2025边缘计算市场调研报告》中发现，大模型一体机成为热门产品，但边缘设备算力等限制使纯大模型部署面临挑战。业内共识是结合大小模型，实现成本与效率的平衡。本次调研将深入探讨边缘计算的技术发展与落地应用，为企业战略决策提供结构化参考。欢迎企业报名参与，共谋行业发展未来。

　　如果说今年边缘计算有什么新变化，那无疑是大模型的开源化，为规模化落(luò)地提供重要支撑。

　　视觉物联在《2025边缘计算市场调研报告》的企业走访中发现，大模型一体机成为了今年炙手可热的明星产品，各大企业纷纷推出用于本地端的大模型一体机。

　　凭借强大的泛化能力与语义理解优势，大模型在众多领域展现出独特价值。例如在安防行业，它能够精准理解“可疑人员徘徊”等复杂语义，无需依赖大量人工标注样本。

　　然而，边缘设备自身存在的算力、存储及实时性等方面的限制，使得纯大模型部署困难重重，面临着算力成本高昂、实时性欠佳以及数据适配性差三大严峻挑战。

　　例如，一个7b参数的大模型在边缘端运行时，处理单路视频就需要数秒时间，难以满足多路并发处理的需求；在工业质检等对响应速度要求极高的场景中，大模型每秒仅能处理1帧的速度，远远无法达到毫秒级响应的标准；此外，边缘场景数据呈现碎片化特点，通用大模型的准确度仅为75%，需针对性优化。

　　小模型则凭借“小而精”的特性，在边缘端占据着传统优势，其训练数据量需求少、推理速度快（可达毫秒级）、硬件兼容性强。

　　但小模型也存在明显的短板，其语义理解能力相对薄弱，面对未训练过的复杂场景，如“识别戴安全帽且携带工具的工人”时往往束手无策；而且不同行业需求差异巨大，针对不同场景开发小模型需要重复投入，开发成本高达数十万级门槛。

　　业内的普遍共识是大小模型结合，小模型用于前置过滤，大模型进行深度理解，二者相辅相成，实现成本与效率的平衡。

　　例如，小模型先对视频流进行初筛，过滤99%的常规画面，大模型则补充小模型算法精度问题。以烟火检测为例，大模型可以将误报从15次降至1次，将95%的误报过滤掉。

　　对于无历史数据的新场景，如宠物行为识别，大模型可基于少量样本快速生成1.0版本算法，再通过小模型持续数据投喂提升精度，形成“0到1快速验证+1到100持续迭代”的闭环。

　　与过去传统方案动辄50万(wàn)开(kāi)发(fā)费及大量标注数据的投入相比，大小模型结合后，5万元即可启动项目，极大地降低了开发门槛；同时，小模型运行于低功耗边缘盒子，大模型部署于算力稍强的边缘服务器，避免“杀鸡用牛刀”的资源浪费。

　　以智慧交通应用场景为例，小模型实时抓拍车牌、车型，大模型分析“多车连续变道”、“行人横穿马路”等复杂事件，为交通调度提供决策支持。

　　但不容忽视的是，目前国产化芯片还无法支持大模型运行，企业需通过模型轻量化（如量化、剪枝）与异构计算（CPU+NPU协同）缓解；在实际应用中，大部分企业仍不得不选择英伟达芯片。

　　小结

　　边缘计算的智能化变革，绝非大模型对小模型的替代，而是二者在算力、成本、精度间寻找最优解的过程。对于企业而言，需以场景需求为导向，若追求极致实时性与成本控制，小模型仍是首选；若面临复杂语义理解与创新场景开拓，大模型则是破局关键。

　　视觉物联联合AIoT星图研究院已经启动《2025边缘计算市场调研报告》，将从技术发展与落地应用等方面展开深度调研，揭示行业基本面，洞察竞争格局，为企业战略制定、投资决策、市场拓展等提供结构化的参考依据。

　　我们拟将调研更多深耕边缘计算领域发展方向的企业，并从中总结行业发展现状以及未来发展趋势，供其他企业参考，欢迎企业踊跃报名参加。