The quote comes from chapter 8 in the second "book". The entire paragraph reads in French (emphasis added):
Il est pour les Nations comme pour les hommes un tems de maturité qu’il faut attendre avant de les soumettre à des loix ; mais la maturité d’un peuple n’est pas toujours facile à connoitre, & si on la prévient l’ouvrage est manqué. Tel peuple est disciplinable en naissant, tel autre ne l’est pas au bout de dix siecles. Les Russes ne seront jamais vraiment policés, parce qu’ils l’ont été trop tôt. Pierre avoit le génie imitatif ; il n’avoit pas le vrai génie, celui qui crée & fait tout de rien. Quelques unes des choses qu’il fit étoient bien, la plupart étoient déplacées. Il a vu que son peuple étoit barbare, il n’a point vu qu’il n’étoit pas mur pour la police ; il l’a voulu civiliser quand il ne faloit que l’agguerrir. Il a d’abord voulu faire des Allemands, des Anglois, quand il faloit commencer par faire des Russes ; il a empêché ses sujets de jamais devenir ce qu’ils pourroient être, en leur persuadant qu’ils étoient ce qu’ils ne sont pas. C’est ainsi qu’un Précepteur françois forme son éleve pour briller un moment dans son enfance, & puis n’être jamais rien. L’Empire de Russie voudra subjuguer l’Europe & sera subjugué lui-même. Les Tartares ses sujets ou ses voisins, deviendront ses maitres & les notres : Cette révolution me paroit infaillible. Tous les Rois de l’Europe travaillent de concert à l’accélérer.
In G.D.H. Cole's translation (1782), this sounds as follows (my emphasis):
There is for nations, as for men, a period of youth, or, shall we say, maturity, before which they should not be made subject to laws; but the maturity of a people is not always easily recognisable, and, if it is anticipated, the work is spoilt. One people is amenable to discipline from the beginning; another, not after ten centuries. Russia will never be really civilised, because it was civilised too soon. Peter had a genius for imitation; but he lacked true genius, which is creative and makes all from nothing. He did some good things, but most of what he did was out of place. He saw that his people was barbarous, but did not see that it was not ripe for civilisation: he wanted to civilise it when it needed only hardening. His first wish was to make Germans or Englishmen, when he ought to have been making Russians; and he prevented his subjects from ever becoming what they might have been by persuading them that they were what they are not. In this fashion too a French teacher turns out his pupil to be an infant prodigy, and for the rest of his life to be nothing whatsoever. The empire of Russia will aspire to conquer Europe, and will itself be conquered. The Tartars, its subjects or neighbours, will become its masters and ours, by a revolution which I regard as inevitable. Indeed, all the kings of Europe are working in concert to hasten its coming.
So "was civilized too soon" is the translation of "ont été [policés] trop tôt".
When you look up policer in a modern French dictionary (e.g. the online Larousse), you get a definition such as the following:
Littéraire. Civiliser quelqu'un, un groupe adoucir les comportements par les institutions, par la culture.
In English: to civilise someone or a group by softening their behaviour through institutions and/or culture. However, the Trésor de la Langue Française Informatisé TLFi has longer explanations:
A. Réglementer, discipliner. Il faut que le régime du travail, du crédit et du commerce change; que le salaire et la valeur, ce qu'il y a de plus libre au monde, arrivent à se policer (PROUDHON, Guerre et paix, 1861, p.192). À partir du moment où l'on tente de policer la force pulsionnelle, un désir, surtout refoulé, surtout inconscient, déclenche la terreur et l'autopunition (CHOISY, Psychanal., 1950, p.11). Régler les tarifs douaniers est jeu d'enfant à côté de la tâche de policer toutes ces pratiques (Univers écon. et soc., 1960, p.38-10).
B. Littér. Adoucir et affiner les moeurs (d'une personne ou d'un peuple) par des institutions adaptées, par la culture et la civilisation. Il ne s'agissait de rien moins que de policer un peuple sauvage (MICHELET, Mémor., 1820-22, p.183). René, on trouve les guerriers de ton pays chez tous les peuples: les plus civilisés des hommes, ils en deviennent, quand ils le veulent, les plus barbares. Ils ne cherchent point à nous policer, nous autres sauvages; ils trouvent plus aisé de se faire sauvages comme nous (CHATEAUBR., Natchez, 1826, p.244).
The second meaning is relevant here: "to soften and refine the manners/customs (of a person or a people) by means of suitable institutions, through culture and civilisation". This definition contains all the elements from the Larousse definition but with a different emphasis.
Since the dictionary meanings don't explain why the Russians may have been civilised too soon, we need to look at the context. Rousseau is saying that Peter the Great, who reigned Russia in the years 1682 – 1725, introduced his sweeping reforms too soon. The preceding paragraphs in the same chapter explain what he means by "too soon" (my emphasis):
Comme avant d’élever un grand édifice l’architecte observe & sonde le sol, pour voir s’il en peut soutenir le poids, le sage instituteur ne commence pas par rédiger de bonnes loix elles-mêmes, mais il examine auparavant si le peuple auquel il les destine est propre à les supporter. C’est pour cela que Platon refusa de donner des loix aux Arcadiens & aux Cyréniens, sachant que ces deux peuples étoient riches & ne pouvoient souffrir l’égalité : c’est pour cela qu’on vit en Crete de bonnes loix & de méchans hommes, parce que Minos n’avoit discipliné qu’un peuple chargé de vices.
(...) Les Peuples ainsi que les hommes ne sont dociles que dans leur jeunesse, ils deviennent incorrigibles en vieillissant ; quand une fois les coutumes sont établies & les préjugés enracinés, c’est une entreprise dangereuse & vaine de vouloir les réformer ; le peuple ne peut pas même souffrir qu’on touche à ses maux pour les détruire, semblable à ces malades stupides & sans courage qui frémissent à l’aspect du médecin.
In G.D.H. Cole's translation:
As, before putting up a large building, the architect surveys and sounds the site to see if it will bear the weight, the wise legislator does not begin by laying down laws good in themselves, but by investigating the fitness of the people, for which they are destined, to receive them. Plato refused to legislate for the Arcadians and the Cyrenæans, because he knew that both peoples were rich and could not put up with equality; and good laws and bad men were found together in Crete, because Minos had inflicted discipline on a people already burdened with vice.
(...) Most peoples, like most men, are docile only in youth; as they grow old they become incorrigible. When once customs have become established and prejudices inveterate, it is dangerous and useless to attempt their reformation; the people, like the foolish and cowardly patients who rave at sight of the doctor, can no longer bear that any one should lay hands on its faults to remedy them.
In short, Rousseau says that the Russians had developed a number of faults and vices, and Peter the Great should have gotten rid of these before introducing reforms based on ideas from France and Germany. The people that Peter the Great reigned was not ready for these reforms; in that sense they were "civilized too soon".