硬度是指玉石抗外來作用力(如壓、刻、磨)的能力。硬度越高，加工難度越大，玉石的品質也越好，另外很關鍵的就是還關系到寶石的耐久性，硬度越高耐久性越好，越不容易受到刻劃破壞。如空氣中粉塵雜質含有石英成分，如果是低硬度的寶石拋光面，由于經常受到空氣中灰塵的撞擊磨蝕，表面容易變“毛”，影響外表，而高硬度珠寶更容易保持外表光澤亮麗。
寶石硬度常用的是摩氏硬度，也稱為相對硬度，是德國礦物學家摩斯根據自然界的10種標準礦物的相對硬度確定的級別。其中最高為金剛石（即鉆石）10級，滑石最軟，為1級。如果一種礦物硬度明顯低于9級剛玉，卻又高于8級黃玉，它的硬度則在8-9級之間，或是取近似值8.5，如祖母綠。在比較硬度時，我們還可以加入一些常見物質來做參考比較，如指甲2.5，銅針3，玻璃5-5.5，小刀5.5-6。
一般而言，寶石的摩氏硬度在7以上，如鉆石、紅寶石、藍寶石、祖母綠、石榴石、托帕石等，如鉆石硬度高達10級，為礦物之最，紅藍寶石也達到9級硬度，僅次于鉆石。祖母綠為8.5，也是高硬度，金綠寶石中的貓眼和變石也在8級，可見世界上最貴重的寶石有一個共同點，就是高硬度，高耐久性。
玉石的硬度普遍低于7，這與玉石為多種礦物集合的結構有關，和單晶體礦物為主的寶石有很大區別，而摩氏硬度達到6-7之間已經屬于較高硬度，如和田玉、翡翠、瑪瑙；玉石硬度指標雖可通過儀器檢測其內部晶體結構得知，但操作上一般多采用刻劃硬度法。我國常見玉石的硬度介于4—6度之間，高于銅的硬度而低于玻璃的硬度。而翡翠的硬度為6.5至7，普遍高于其他玉石。清朝時期，一位知名外國礦物學家將中國市場最知名的兩種玉石——和田玉和翡翠進行比較，經檢測后發現翡翠硬度較高，將其命名為硬玉，和田玉硬度比之稍低，而將和田玉稱為軟玉，這種命名在西方一直沿用至今，而我們還是習慣稱為翡翠和和田玉，這是后話。
其他玉石的硬度在4-6之間，基本上包括很多如玉石品種，如青金石、岫玉、漢白玉、孔雀石、螢石等。大部分印石硬度都低于4，因此方便于刻畫，如壽山石、青田石、雞血石。
