L'origen del panellet és incert, però com sol passar amb la gastronomia tradicional, està envoltat de molta llegenda. Tot i la incertesa, tot sembla indicar que el seu origen es troba en els antics cultes funeraris. Era en aquest tipus d'esdeveniments on es portaven panets petits com a ofrena a l'església o a les tombes dels difunts.
 
D'altra banda, també es creu que van a ser els àrabs els que van crear aquesta tradició, pel seu tipus de massa, però els primers indicis que es tenen sobre els panellets són de finals del segle XVIII. En un principi, eren elaboracions que es feien a les masies després de la recol·lecció de la fruita seca. Però aquests dolços van anar evolucionant i, més tard, es podien adquirir per Tots Sants i després de celebracions religioses, passant a ser considerat un aliment beneït.
 
La seva composició, amb un alt contingut calòric, juntament amb les castanyes i els moniatos, fa que sigui el producte ideal per a les llargues i fredes nits del dia de Tots Sants, la de l'1 de novembre, i el Dia dels Difunts, el 2 de novembre. Actualment, aquesta tradició de menjar panellets per Tots Sants es manté ben viva a Catalunya, l'Aragó, el País Valencià i les Illes Balears.