La historia del taller literario Diezmo de Palabras se remonta a 1977, cuando el Instituto Nacional de Bellas Artes le pidió al escritor Herminio Martínez que buscara un espacio y la gente adecuada para fundar el primer taller literario del Bajío. Entonces reunió a algunos estudiantes de preparatoria, profesores normalistas, médicos, abogados, periodistas y cuantos estuviesen interesados en las letras, para darle la bienvenida al primer coordinador, el maestro ecuatoriano Miguel Donoso Pareja, a quien Herminio había conocido en la Universidad Nacional Autónoma de México cuando recibió el premio de poesía Punto de Partida.

A este grupo de aspirantes a escritores se le conocía nada más como Taller Literario de Bellas Artes, y sesionaba en el edificio de la Casa de la Cultura al que asistían, no en gran número, jóvenes y adultos. Herminio asistía también, ya como profesor en la Universidad de Guanajuato, a estas reuniones. Entre los coordinadores del taller estuvieron, durante toda una década, Miguel Donoso Pareja, Ignacio Betancourt, Armando Adame, Héctor Carreto, Juan Domingo Argüelles y Gloria Gervitz, entre otros.

Tras una breve pausa, en 1988 el poeta Víctor Sandoval, entonces director del Instituto Nacional de Bellas Artes, le sugirió a Herminio la posibilidad de continuar el taller, pero ahora bajo su propia responsabilidad. Desde entonces jamás se ha interrumpido.

Al principio, ya bajo el cargo del maestro Martínez, se rebautizó como Taller Literario El Calmecac, hasta que en ese mismo año, siendo la profesora Beatriz Acevedo Buchanan directora de la Casa del Diezmo, decidieron que mejor se renombrara Diezmo de Palabras, porque tras una azarosa vida de andar sesionando aquí y allá: la calle, las plazas públicas, los cafés, las librerías, alguna escuela, el taller arribó al edificio del antiguo Banco Ejidal de la calle Benito Juárez, donde permaneció algunos años, hasta que el ingeniero Gerardo Cázares Patiño, director en aquél tiempo de la Casa de la Cultura de Celaya, abrió las puertas al taller. Cuando el maestro Herminio Martínez fue diagnosticado con cáncer, cedió la coordinación del taller a uno de sus alumnos. Julio Edgar Méndez fue parte del Diezmo de Palabras desde el año 2000. Preparó, junto con Herminio, la serie de suplementos sobre historia, arte y cultura de la región para el periódico El Sol del Bajío y otra serie de documentos que formaron parte de la crónica de la ciudad. A partir del año 2014 fue nombrado oficialmente coordinador del taller.

Además de múltiples becas de apoyo a jóvenes creadores y creadores con trayectoria, los asistentes del taller han alcanzado muchos premios locales, regionales y aún nacionales. Algunas de las revistas, diarios y suplementos más importantes de la república de las letras ha incluido a sus autores, entre otros: Periódico de poesía, Punto de partida, Castálida, Expresso, suplemento Diezmo de Palabras en El Sol del Bajío, Diario A.M., El Universo del Búho, Letras Libres, Vértigo, Casa del Tiempo, Es lo Cotidiano, Cosido a Mano, entre otros.

Diezmo de Palabras está considerado como el taller literario vigente más antiguo y uno de los de mayor prestigio de Guanajuato y México. Entre sus ilustres visitantes ha tenido el privilegio de recibir entre sus filas a Edmundo Valadés, Poli Délano, Rafael Ramírez Heredia, Margarita Michelena, Francisco Zendejas, Saúl Ibargoyen, Juan Bañuelos, Alejandro Aura, Juan de la Cabada, Jaime Labastida, Carlos Montemayor, Otto Raúl González, Alberto Ruy Sánchez, Rafael Gaona, Eugenio Aguirre, Silvia Molina, Mario Moya Palencia, Brianda Domecq, Alí Chumacero, Mario Calderón, Ignacio Solares, Francisco Cervantes, Dari Novaceanu, Jorge Teillier y Alejandro Romualdo.

Y, entre sus integrantes originales, figuran Baudelio Camarillo, Gerardo Sánchez, Esquilo Campos, Alfredo García Servín, Rogelio Zarzosa y Alarcón, Guillermina Carreño, Alejandro Olvera, David Manuel Carracedo, Eric Rébsamen, Salvador Pérez Melesio, Martín Campa, Martín Villarreal, Levi Guzmán, Rafael Aguilera Mendoza, Estrella Méndez Méndez, Flor Aguilera, Josefina Martínez Acosta, Tricia Aguilar Tamayo, Gilberto Flores Patiño, Julio Edgar Méndez (dos veces ganador del Premio Regional de Literatura Infantil Alas y Raíces), Arturo Rodríguez, Arturo de la Torre, Felipe de la Torre, Fernando Cortés, Macaria España, Oliver Barona, Paula Veroly, Rosaura Tamayo, Rosa Delia Guerrero, J. Félix Sánchez Bárcenas, Diana Alejandra Aboytes, José Luz Rentería, Xermán Vázquez Alba, Enrique R. Soriano Valencia, Miguel Sánchez, Luis Montes de Oca, Luis Rojas Cárdenas y muchos más autores que también han sido premiados y publicados, y recibido reconocimientos y estímulos de parte de instituciones públicas y privadas.

La Universidad de Guanajuato ha publicado cuatro antologías de los miembros del taller: Mientras digo mi nombre, La vida que él me da, El cuarto del escriba y Aires del Bajío. El Sistema Municipal de Arte y Cultura de Celaya publicó El oro de los trigos.