В июне 1939 г.а направлен в район советско-японского конфликта, где по предложению Генштаба заменил предыдущего командующего советскими войсками Н. В. Фекленко. В боях на Халхин-Голе Жуков впервые широко использовал танковые части для решения задачи окружения и уничтожения противника. Разгром японцев в боях на Халхин-Голе рассматривается как один из ключевых факторов, заставивших Японию отказаться от планов нападения на СССР вместе с Германией. За эту операцию комкор Жуков удостоился звания Героя Советского Союза и ордена Красного Знамени МНР.
В конце июля генерал армии Жуков был отстранен Сталиным от должности начальника Генштаба. По версии самого Жукова это произошло из-за желания вождя во что бы то ни стало удержать Киев, тогда как генерал предлагал немедленно отойти на левый берег Днепра, спасая войска от окружения. Тем не менее, вскоре Жуков занимает заметный участок борьбы с захватчиками. В августе - сентябре 1941 г. он командует войсками Резервного фронта и в условиях продолжающегося продвижения на восток немецко-фашистских войск проводит Ельнинскую операцию. В Великой Отечественной войне она стала для Красной Армии первым сравнительно большим наступательным успехом.