Né dans la région minière du Pas-de-Calais, en France, Gaston Duf est issu d’une famille de dix enfants. A l’âge de quatorze ans, il entame un apprentissage de boulanger, avant d’être congédié pour incapacité. Par la suite, il travaille à la mine mais sa santé précaire l’oblige à s’absenter fréquemment. Il finit par n’exercer plus aucune activité, se réfugie dans l’alcool, puis est définitivement interné à l’âge de vingt ans dans un hôpital psychiatrique de Lille.

Quelques années plus tard, son médecin remarque qu’il dissimule dans la doublure de ses vêtements des dessins réalisés au crayon à la mine de plomb, dans les marges de journaux, représentant des bêtes monstrueuses. Le médecin lui fournit alors des crayons de couleur et des tubes de gouache ainsi que des feuilles de papier.

Gaston Duf se met à réaliser des compositions de plus grands formats, dont les sujets récurrents sont un polichinelle et une bête protéiforme, qu’il désigne comme un rhinocéros. Par ailleurs, il orthographie ce mot sous une nouvelle forme chaque fois qu’il dessine cet animal.