A palócok lakta községben a plébánia kertje őrzi a középkori gótikus templom alapjait. Az évszázadok során az esztergomi érsek és a király osztoztak erdein és földjein. Mátyás király és felesége Beatrix királyné is szerette ezt az Ipoly-menti vidéket. A 18. század közepén Esterházy Imre esztergomi érsek és gróf Koháry András Hont vármegye főispánja ezen a településen építtette föl a vármegyeházát.
1769-ben szentelték fel római katolikus templomát, melynek tornya 1804-ben az esti harangszó után hatalmas robajjal rádőlt a templomra. A ma is látható templomot Perényi Károly püspök szentelte föl 1812-ben.
A kemencei római katolikus templom huszonhét méter magas tornyában három harang lakik. A délidőben megszólaló 420 kilós harangot az egyházközség 1950-ben elhurcolt vértanú papja, Tornyos Gergely esperes öntette a budapesti Harangművek műhelyében 1922-ben.
