小林市は南九州の中央部、宮崎県の南西部に位置し、北部は西米良村、熊本県多良木町、熊本県あさぎり町、東部は綾町、宮崎市、南部は高原町、都城市、 鹿児島県霧島市、西部はえびの市と接しています。本市の南西部には霧島連山が、北部には九州山地の山岳が連なり、緑豊かな森林や高原が開け、 清らかな渓流美を誇る河川とその流域には優良農地が広がり、ジオサイト(地質遺産)や温泉、湖沼などの個性的な地域資源も多数有しています。

面積は563.09平方キロメートルで宮崎県の7.3パーセントを占めています。

気候は、夏暑く、冬は冷え込む内陸型の温暖多雨地域に属しており、年平均気温は約16度、年平均降水量は2211.5ミリメートル(平成25年)を超えます。 夏と冬の寒暖差が大きく、また、昼夜の気温差が大きいため、霧の発生が多い地域です。

豊かな自然環境は重要な自然遺産として評価され、「霧島ジオパーク(宮崎・鹿児島県の5市2町で構成)」、「綾ユネスコエコパーク(宮崎県の2市1町1村に所在)」に認定されています。