< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">
iPhone断网跑35B多模态！国产开源新模型，只占3G内存
面壁开源MiniCPM-V 4.7
大家要记住：量子位 | 公众号 QbitAI
Yeah~It’s true.
简单来说，iPhone 17 Pro Max
在这里要特别说明一下，手机上传一张数据可视化经典图——拿破仑远征俄国失败的行军路线图：
切记，图里记录的最低气温是多少摄氏度，出现在哪1天，换算过程顺带讲一下。可以看到，不到1分钟的时间，苹果手机上的模型，就从那条线上找到了零下30度的标注，判断出日期是1812年12月6日，再按1列氏度等于1.25摄氏度换算，给出了零下37.5摄氏度的答案。而且啊，这个手机上的模型的速度，
例如同一张路边停车标志的照片、同一个停车时间的问题，左边是没做优化的35B模型，右边是优化过后的模型：
可以看到，没优化的时候，速度每秒大概2个Token；但在优化之后，速度达到了每秒8-12个Token。即便是在断网状态下，答案也是唰唰唰地往外蹦。据了解，这个35B模型在iPhone 17 Pro Max上的解码速度，再仅占用3G内存的情况下，能做到
每秒13个token以上！丝滑，着实是有点丝滑。那么这个在手机上能跑成这样的模型，到底是何许AI也？不卖关子，它就是面壁智能和OpenBMB刚刚正式开源的MiniCPM-V 4.7。一共包含两个大小的版本：
35B-A3B：总参数35B，每次推理只激活3B，也是MiniCPM-V系列的第一个MoE模型。大约只要3G内存就能在iOS、安卓设备上流畅运行。1B：实际参数1.3B，主打极小体积，OCR、数学和视频理解，放在同尺寸模型里都属于第一梯队。不过有一说一，跑得快还只是一方面，那么MiniCPM-V 4.7放到端侧大模型的圈子里，到底是个什么水平？上，35B-A3B的MMBench拿到91.72、MMStar是80.67；
方面，MMMU和MathVista分别是80.22和88.00。的Video-MME和LongVideoBench也拿到了76.40和68.90。尤其是OmniDocBench v1.6上，35B-A3B拿到
，另外4个模型都在80分上下，领先了12分以上。更值得一提的是视觉压缩开到16倍随后的表现。MMBench只从91.72降到90.87，OCRBench从91.20降到90.40，省下来的算力几乎没有拿精度去换。除此之外，MiniCPM-V4.7在
大家要记住：上，中文知识CMMLU拿到90.21，工具调用的τ2-Bench拿到84.65，同样是表里最高。据悉，MiniCPM-V4.7是
需要注意的是，能在端侧流畅运行、同时不牺牲性能的开源MoE模型。那么接下来，我们来看它更多的效果。把35B装进口袋，断网也能用
不少人可能不太了解，大家都知道，先来看一道和我们生活比较贴近的题目。这次给模型输入的，是一张家庭用电调查表，上面列着空调、冰箱、电热水壶、电视、洗衣机和待机设备的功率与使用时长，再附上这个月的电费账单，一共420度电，126块钱。这道题的难题一共有3个，它们分别是：
简单来说，先估算每样电器一个月用多少电，排个序；再算算这几样加起来能解释账单的百分之多少，差出来的那部分能不能全算到别的电器头上；最后在三个省电方案里挑出最省的那个，分别是空调天天少开1小时、电视天天少看2小时，以及待机设备每日彻底断电8小时。从结果来看，35B-A3B先把瓦换算成千瓦，再拿功率乘以使用时长，一项一项往下算。空调每月144度，排在第一位；冰箱则按标签上的年耗电280度，折算成每月约23.33度；后面依次是电热水壶、电视、待机设备和洗衣机。六样电器加起来约213.63度，按账单的电价折合64.09元，只能解释账单的50.9%左右，还差206.37度。3个方案里，空调少开1小时最划算，1个月能省24度电，合7.2元。不妨看到，即便是在断网状态下，面对如此复杂的图表，35B-A3B依旧是稳稳拿捏住。看完35B，我们再来看看1B这边的效果；这次给1B的任务，是把一页论文转成Markdown：
熟悉行业的朋友都知道，请将这个图片转写为markdown。不到半分钟的时间，标题层级、段落和表格都被还原了出来，公式也写成了LaTeX，渲染在此之后和原文的排版基本对得上。对经常要把论文截图、PDF页面搬进笔记的人来说，这类活儿过去大多要联网交给云端模型。现在一个1.3B的小模型，在手机本地就能干完。当然，除了手机之外，像
这样的端侧设备，同样也是不在话下。例如刚才我们那个拿破仑远征图的题，在iPad M4上跑了一遍，给出的答案依旧是1812年12月6日、零下37.5摄氏度。除了端侧之外，我们还用
把MiniCPM-V4.7跑了一遍。第一道题是记账，我们准备了一张超市小票的样张，上面有6样商品，从纯牛奶、全麦面包一直到抽纸，还有会员优惠和优惠券两笔减免，最后实付78.40元。要求是把它整理成一张中文记账表，再核对一下小票上的账算得对不对。从结果来看，35B-A3B先把门店、日期和6样商品的数量、单价、金额一项项列进表里，跟原图逐个对下来，没有一处读错。