Je pense plutôt que le problème vient du fait que tu ne subdivise pas ton objet, dans la fenêtre ou au rendu, peu importe.
De mon expérience dans maya, on balance toujours un subdiv approx de manière à ce que le maillage soit subdivisé au rendu, c'est nécéssaire, le displace et la map ne peuvent pas rendre les détails si il n'y a pas de maillage pour ça...
J'avais fait des test avec Vray il y a peu dans Max et je foutais un turbosmooth avant le modificateur Vray displace...
Fais la même chose, fous un turbosmooth sur ton maillage de base sur lequel tu auras mis le shader avec la texture de displace et regarde si ça fait mieux. N'hésite pas à balancer de la subdiv...
---------------
. : G P E P P E R : .