"具体差在哪。"

        "推理速度差20%左右，可以接受，用户端感知不明显。但训练速度差40%以上，同样的模型训练时间从两天变成三天半。更大的问题是良率，国产卡的故障率是进口的三到四倍，批量部署之后运维压力会很大。"

        老周说到这里停了。他在等林彻的反应。

        林彻靠在沙发上，手指搭在扶手上，没动。

        他在想。

        61%的性能。听起来很难看，快接近不能用了。但"不能用"和"勉强能用"之间有一条线，这条线的位置取决于你怎么用。

        单芯片跑不动的事情，多芯片可以跑。一张卡算不完的任务，四张卡并行可以算。推理速度差20%，可以用缓存和预加载对冲，用户那边感知不到。训练速度差40%，可以把非紧急的训练任务挪到夜间跑，白天只保留推理和在线服务。

        异构计算。

        上辈子2022年以后，所有被制裁的中国科技公司都在做这件事。用不同架构的芯片混合部署，用软件层的调度算法弥补硬件层的性能差距。不完美，很笨重，调度代码写起来想骂人。但能跑。

        关键不是跑多快，是能不能跑。

        用户不能感知到卡顿。企业核心业务不能受影响。微光协同的视频会议不能掉帧，信用购的风控模型不能延迟出结果，AbySS的数据查询不能超时。

  The content is not finished, continue reading on the next page