Porque el procesador puede trabajar mucho más rápido de lo que la RAM puede entregarle información.
La caché mantiene cerca del CPU los datos que probablemente volverán a utilizarse.
Por eso existen niveles como L1, L2 y L3: son pequeños comparados con la RAM, pero muchísimo más rápidos.
Si el dato está en caché tenemos un cache hit. Si no está, ocurre un cache miss y hay que buscarlo más lejos.
En computación, la distancia también cuesta tiempo.
Fuente: pato bug