Küçükelmalı köyü 1850 li yıllarda konar göçer olarak Cami bölgesinin kuzeyine 7 ocak olarak kurulmuştur. 1870li yıllara kadar kışın Yalova-Karamürsel, yazın ise şimdiki köyümüze giderlerdi. Zamanın Bursa valisi Ahmet Vefik Paşa'nın emriyle 1876 da yerleşik hayata geçmişlerdir.
Önce Söğüt'e bağlı olan köy 1927 yılında Bozüyük
ilçesine bağlanmıştır. 1954 yılında da Pazaryeri ilçe olunca, Pazaryeri ilçesine bağlanmıştır. Önceleri Sağırelmalı olan adımız daha sonra Küçükelmalı olarak değiştirilmiştir.
Oğuzların Bozok koluna bağlı 12 boydan kayı boyuna bağlı Karakeçili aşiretine bağlıdır. Bilindiği gibi II. Abdulhamit Alman imparatorluğuna Karakeçili aşiretini akrabaları olarak takdim etmiştir. Ertuğrul alayını Karakeçililerden oluşturmuştur. Bu olay çok manidardır.