GPU显存不够，最直接的问题就是程序跑不起来，或者运行过程中频繁报错。尤其是在AI训练、模型推理、图形渲染等场景中，显存容量直接影响任务能不能正常运行。
GPU显存主要用来存放模型参数、输入数据、中间计算结果以及训练时产生的梯度、优化器状态等。以AI模型为例，模型越大、输入数据越多，对显存的需求通常也越高。
最常见的问题就是显存溢出，也就是 OOM（Out Of Memory）。比如运行一个模型时，如果当前GPU只有24GB显存，但程序实际需要超过24GB，就可能直接报错，任务无法启动。训练过程中也可能出现这种情况，模型前几个步骤正常运行，到了某个Batch突然因为显存占满而中断。
第二个问题是无法使用更大的Batch Size。Batch Size越大，一次处理的数据越多，通常需要更多显存。如果显存有限，只能降低Batch Size。这样虽然可以让程序运行，但训练效率、吞吐量以及整体训练时间都可能受到影响。
第三个问题是模型推理受到限制。例如一个模型本身需要较大的显存才能完整加载，如果GPU显存不足，就可能需要进行量化、降低上下文长度，或者使用CPU和GPU共同加载模型。这样可以降低显存压力，但也可能影响推理速度。
第四个问题是显存不足可能导致频繁的数据搬运。当部分数据无法放进GPU显存时，系统可能需要在GPU显存、CPU内存甚至存储之间不断交换数据。这样会增加数据传输开销，导致GPU利用率下降，整体运行速度变慢。
另外，显存不够不一定代表GPU计算能力不够。一张GPU的算力可能完全满足任务要求，但如果显存容量不足，依然无法正常运行。所以租用或者采购GPU时，不能只看TFLOPS、GPU型号，还要看显存容量、显存带宽以及实际任务需要。
如果是AI训练，还需要特别关注模型参数量、Batch Size、上下文长度、精度以及优化器等因素。FP16、BF16、FP8等不同精度，也会影响显存占用。
