La première mention du village est attestée vers 1025 sous le nom de Sancti Justi, puis en 1293, sous celui de Saint-Just-de-Longueville
Vers 1020, le duc Richard confirme aux moines de Jumièges les églises de Saint-Marcel et de Saint-Just ; le patronage dut passer plus tard à l'abbaye de Fécamp.
Avec la commune voisine de Saint-Marcel, Saint-Just formait le territoire de Longueville, étendu le long de la Seine et réputé pour ses vignes ; les actes anciens comportent de nombreuses mentions de vignes et de muids de vins (les vignes ont subie beaucoup de dégâts à cause du phylloxera et donc ont disparu au début du XX ème siècle) . Les autres ressources sont apportées par les céréales, les arbres fruitiers et deux moulins.
DuXVesiècle auXVIIesiècle, la seigneurie de Saint-Just appartient à la famille de Croismare ; auXVIIIesiècle, la famille de Savary devient propriétaire du château. AuXIXesiècle, le domaine passe dans le patrimoine de la famille d'Albufera. Les deux autres fiefs sont ceux de Cornehaut et de La Harelle.
Saint-Just est traversé par la route médiévale de Saint-Pierre-d'Autils à Saint-Marcel, autrefois dénommée chemin royal, puis au XVIIIe siècle chemin des Chartreux. En 1830, Charles-Ambroise Choderlos de Laclos, fils de l'auteur des Liaisons dangereuses, devient maire de la commune.