Nous présentons dans cet article une approche de réduction du fossé sémantique dans le traitement des documents anciens, et plus particulièrement les images de lettrines. Cette approche modélise les connaissances de deux domaines (experts historiens et experts en traitement d'images) au sein d'ontologies. Cette démarche permet d'établir des liens entre ces domaines afin d'aider les historiens à interpréter ces images et à les situer dans le temps. Nous avons combiné trois ontologies (thésaurus défini par les historiens, ontologie du traitement d'image et ontologie spatiale) pour l'annotation de ces images; ainsi nous avons donc défini des règles permettant d'annoter certaines régions de l'image comme étant la lettre, une partie du corps de personnage ou encore de caractériser une lettrine comme figurative. Des expérimentations prouvent la pertinence du système dans l'annotation automatique d'images. Par ailleurs, la généricité de l'approche permet d'en envisager une exploitation dans d'autres contextes combinant analyse d'image, analyse spatiale et sémantique du domaine, comme par exemple des images de bandes dessinées Tsopze et al. (2012).