ÖVÜNCE-HAVÇUŞ-HAV-HAVÇU-HAVÇİÇ-HAVCİS gibi isimlerden üretilmiş ve geçmiş zamanlar içinde ağız değişikliği ile birkaç takı alarak bu ad oluşmuştur. Anlamı ise Rumca da HİSAR anlamına gelmektedir. Bu köyde eskiden bir Hisar olduğu veya köyün doğal yapısı itibarıyle Hisar gibi çevrili bir alana benzetildiğide bazı kaynaklarda geçmektedir..
Kesin olarak ne zaman kurulduğu belli değildir. Değişik kaynaklardan edinilen bilgilere göre yaklaşık 550-600 yıllık bir tarihi geçmişi olduğu anlaşılmıştır. Köyün ilk yerleşim yeri şimdiki köyün kuzey batısında eski köy denilen yerde idi.Eski yerleşim yerlerinde eski kalıntılara rastlamak mümkündür. Köyün adı (HAVCUŞ) Rumca olup Cumhuriyetten sonra adı ÖVÜNCE
olarak değiştirilmiştir.Rumlar bu köyü istila ettikleri zamanda köyde tek Rum ailesi vardı. Buradaki tek haneli Rum ailesininin demircilikle uğraştığı, nesilden nesile anlatılarak günümüze kadar uzanmıştır.
Trabzon-Bağdat yolu Köse'den geçtikten sonra Övünce üzerinden devam ederdi. Bu nedenle o zamanlardan kalan hanlar ve kervanların konaklama yerlerine ait eski kalıntılarla birlikte o zamana ait isimler vardır. Köyün yakınıdaki bir tepede Hüseyin Efendiye ait bir türbe vardır. Köyün ilk kayıtlarda harap olduğu görülmektedir. 16 yy.da Bayburt sancağı tahrir kayıtlarından çıkarılan bilgilere göre 1530 yılında 7h.(Hane) 1m.(Mücerred) 3 sipahizade hristiyan vardı. 1591 yılında 21 nefer müslüman 29 nefer hristiyan yaşardı.
Cumhuriyetten önce Övünce köyünde asayişi ve güvenliği sağlamak amacıyla kolluk görevi yapan jandarma karakolu vardı. Daha sonra karakol Kösenin nahiye olmasıyla Köseye taşınmıştır. Köse ilçe olduktan sonra bölük komutanlığına dönüştürülmüştür.

Kaynak: www.ovunce.com