东晋初置平阳县，民国二年（1913）改为桂阳县。位于南岭山脉骑田岭北麓，北纬25°27′～26°13′，东经112°13′～112°55′。面积2973平方公里。
地势以山丘为主，山地占38%，丘陵占24.54%，岗地占19.93%，平原占17.53%。最高峰为泗洲山，海拔1428米。湘江支流舂陵水横贯县境中部。年均温17.3℃，1月均温3℃，7月均温29℃。年均降水量1400毫米。无霜期277～300天。
矿产资源丰富，古称“八宝之地”，有铅、锌、锰、铁、铜、锑、石墨、煤等。黄沙坪铅锌矿为全国七大铅锌矿开采基地之一。自然焦煤为全国独特产品。工业以冶金、煤炭为支柱。农产品以稻谷、烤烟、生猪为主。是全省优质烤烟生产基地之一。20世纪40年代，境内晒烟产量最多年份占全省总产十分之一，尤以质优驰名省内外及港澳等地。60年代，烤烟崛起，逐年发展。由于土质、阳光等自然条件优越，烟叶色泽叶醇，质地特好、糖、氮、蛋白质、烟碱等多种化学成分的含量及斯木克值基本达到国家标准。1986年产量居全省第一，质量列全国第二。1988年，产烤烟25957吨，产值占农业总产值三分之一，烟税占县财政总收入71.2%。同年，全县社会总产值8.4亿元，工业产值1.94亿元，国民生产总值5.62亿元，人均813元。
交通较为方便，郴嘉铁路通过境内19公里，有通车公路1134公里，西通零陵地区各县。桂阳属历史古城，曾为州、监、军、路、府、直隶州之治所。东塔岭有建于宋代的七级塔，还有拙翁岩，依岩构筑八角亭，塔北有鹿峰庵。东塔为湖南省重点文物保护单位之一。
