Во Франции участвовал во многих групповых выставках в Париже, выставлялся в Лондонской королевской академии, в ряде городов Германии. Не потеряв советского гражданства, участвовал в Международной выставке декоративных искусств в Париже 1925 года (советский павильон), где был отмечен Золотой медалью. Провел персональные выставки в Париже (галерея Кармин, 1927) и Ницце (1926-й, 1943-й годы). Ряд выставок в Монте-Карло.
До возвращения в Россию неизменно имеет успех в художественных кругах и обществе. Состоял в экспертном совете Лувра, участвовал во многих общественных акциях. Его работы приобретают городские музеи Парижа, Гренобля, Монте-Карло, Ниццы.
В период Второй мировой войны — участник Французского движения Сопротивления, награждён медалью.
В 1947 году возвращается в СССР. Из-за официального запрета на место жительство в Москве и Ленинграде, выбирает для жизни город на Волге — Саратов. Работает реставратором в СГХМ им. Радищева. Несмотря на официальный запрет на преподавательскую деятельность — был объявлен «идейно чуждым», стал духовным лидером и сформировал вокруг себя группу молодых художников, которых впоследствии условно стали называть «художниками круга Гущина»: М. Аржанов, В. Чудин, В. Солянов, В. Лопатин, Л. Перерезова, Ю. Машков.
Большая часть его картин «советского» периода попала после смерти художника в собрание СГХМ им. Радищева, портрет Махатмы Ганди (х., м.; 1958 г.) был передан Министерством Иностранных дел СССР в дар Джавахарлалу Неру в 1961 году. Картина «С тобой, Лумумба!» приобретена Университетом Дружбы народов в Москве. Персональные выставки стали возможны только с периода перестройки, первая прошла в СГХМ в 1987 году.
В 1910-х годах был близок к кругу футуристов (дружба с Маяковским, Бурлюками, В. Каменским и др.), однако в живописи сформировал свою собственную стилистику, сочетающую изысканность модерна и символизма с энергией экспрессионизма и яркостью фовизма. К стилистическим особенностям пластического языка Гущина можно отнести и редкое для двадцатого века соединение классического ясного и чёткого рисунка с большой свободой цветотональных решений. Фактура живописи (особенно произведений последнего, российского периода) богатая, пастозный мазок может соседствовать с гладким, пейзажи по фактуре обычно более однородны, чем портреты и композиции. Цвет в работах последнего периода форсированный, интенсивный, при этом каждый миллиметр полотна содержит огромное количество оттенков. В Европе был славен как блестящий портретист, в прессе акцентировалась самобытность художника, живописца называли гениальным.