钻石山并没有任何真正的钻石矿。至于钻石山得名的原因，坊间有多个解释。现在最多人接受的说法，是因为中文名称中的“钻”字是个动词，只是把岩石钻开的意思，而钻石山附近也有一个石矿场，可以呼应这个解释。其他的解释则包括因为钻石山附近的石矿场所出产的石块矿晶较为闪亮，或者钻石山山峰的形状像钻石一样，或者区内的蒲岗村道、斧山道与及龙翔道构成钻石形。
