Jean El Mouhouv Amrouche est né en Petite Kabylie, le 7 février 1906, dans une famille berbère christianisée : « Kabyle de père et de mère, profondément attaché à mon pays natal, à ses mœurs, à sa langue, amoureux nostalgique de la sagesse et des vertus humaines que nous a transmises sa littérature orale, il se trouve qu'un hasard de l'histoire m'a fait élever dans la religion catholique et m'a donné la langue française comme langue maternelle.
En butte à l'hostilité des populations arabes, ignorée de la communauté française, exilée, en somme, dans son propre pays, la famille Amrouche émigre en Tunisie peu de temps après la naissance de Jean. C'est donc à Tunis qu'il effectue ses études secondaires, suivies d'un passage à l'Ecole normale supérieure de Saint-Cloud.
A son retour en Tunisie, en 1930, Jean Amrouche enseigne au collège de Sousse et se lie d'amitié avec un jeune collègue, Armand Guibert, qui publiera ses premiers poèmes. Il est ensuite nommé au lycée Carnot de Tunis, où plusieurs futurs écrivains tunisiens (parmi lesquels Albert Memmi, qui le représentera dans ses romans sous le nom de Marrou) sont ses élèves. Toujours sous les auspices de Guibert, il publie ses Chants berbères de Kabylie (Tunis, Monomotapa, 1939 ; rééd. Alger, Charlot, 1947).
En 1943, il s'installe à Alger à la suite d'André Gide. Il entre au secrétariat à l'Information, puis à la Radiodiffusion française, abandonnant toute velléité d'écriture littéraire. Dans l'entourage de l'éditeur Edmond Charlot et sous le patronage d'André Gide, il fonde avec Jacques Lassaigne la revue L'Arche, afin de concurrencer La NRF de Drieu La Rochelle. Après la libération de Paris, il agit auprès de Charlot pour que la maison d'édition dont celui-ci est le directeur littéraire s implante à Paris... où elle fait rapidement faillite.
Il fait alors de la radio — ses entretiens avec Claudel, Mauriac, Gide, Jouhandeau... sont demeurés fameux — tout en écrivant de nombreux textes politiques et polémiques. Brillant conférencier, se considérant de par ses origines comme « l'arche qui fait communiquer deux nations », il joue durant la guerre d'Algérie un rôle important, encore largement méconnu, de militant et d'intermédiaire. Ses prises de position en faveur de l'indépendance l'obligent à démissionner de l'ORTF en 1959.
Victime d'une grave maladie, il meurt dans un hôpital parisien le 16 avril 1962, quelques semaines après la signature des accords d'Evian, laissant inédites ou inachevées quantité d'œuvres romanesques et poétiques.