Hong Kong, 1962. M. et Mme Chow emménagent dans leur nouvel appartement le même jour que leurs voisins, M. et Mme Chan. Sans comprendre comment cela a commencé, Chow Mo-wan et Chan Li-zhen apprennent que leurs époux respectifs ont une liaison. Cette découverte les choque mais les rapproche. Ils se voient de plus en plus souvent mais le voisinage commence à s'en apercevoir. Il semble n'y avoir aucune possibilité pour eux de vivre une relation amoureuse. Mais la retenue, les réserves émotionnelles de Mme Chan hantent M. Chow, qui sent ses sentiments changer.

Dans les années 60 à Hong Kong, Yuddy, élevé par sa mère adoptive, indolent et charmeur, se laisse bercer par la vie, passant de bras en bras, seulement alarmé quand on lui propose le mariage. Narcissique, obsédé par le besoin qu'il éprouve de découvrir ses origines, Yuddy quitte amis, maîtresses et mère pour partir aux Philippines à la recherche de son passé.

Shanghai, fascinante mégalopole portuaire, a connu d’immenses bouleversements depuis 1930 : révolutions politiques et culturelles, assassinats, flux de population. Dix-huit personnes se remémorent leurs vies dans cette cité en perpétuelle évolution, leurs expériences personnelles, comme dix-huit chapitres d'un roman.

Une maison close de Shanghai, au XIXe siècle. Wang, un haut fonctionnaire, habitué des lieux, entretient depuis longtemps une relation avec l'une des courtisanes, Rubis. Depuis peu, pourtant, il fréquente une autre demoiselle, Jasmin, afin de provoquer la jalousie de sa maîtresse officielle. Un soir, arrivant à l'improviste, Wang surprend Rubis dans les bras d'un acteur de l'Opera de Pékin. Ivre de rage, il saccage son appartement et détruit les cadeaux qu'il lui a offerts. Dans la foulée, il décide de prendre Jasmin comme seconde épouse…