Алексея Толстого с Софьей Дымшиц познакомил родной брат Софьи — Леон, с которым Алексей Николаевич учился в Дрезденском политехническом институте. В то время Толстой был женат на Юлии, но это не помешало ему влюбиться в начинающую художницу Софью Исааковну Дымшиц, между ними сразу возникла взаимная симпатия, и с 1907 года они стали жить вместе. Первая книга стихов Алексея Николаевича Толстого, изданная им в 1907 году, была посвящена Софье Исааковне Дымшиц. В ней он писал: «Тебе, моя жемчужина».
В 1910 году Толстой развёлся с Юлией. В 1911 году в Париже у Алексея и Софьи родилась дочь Марьяна, но Софья так и не смогла получить развод до 1914 года. В 1910-1911 гг. в круг общения Софьи и Алексея Толстого входят художники Н.Н.Сапунов и С.Ю.Судейкин, а также Вс.Э.Мейерхольд, Н.С.Гумилёв и А.А.Ахматова, Ф.К.Сологуб, М.А.Кузмин. В Москве круг знакомых расширяется - это Аристарх Лентулов, Мартирос Сарьян, Павел Кузнецов, Георгий Якулов, братья Милиоти . Софья Дымшиц-Толстая вспоминала, что причиной разрыва отношений с Алексеем Толстым в 1914 году стали её профессиональные интересы, которые всё больше уводили её в среду художников, что вызывало охлаждение к писателю. Весной 1914 года они поехали в Крым к Волошину, и там между ними произошёл окончательный разрыв. Софья уехала от Толстого во Францию, а он остался в России.
Воспоминания Софьи Исааковны Дымшиц-Толстой об Алексее Толстом написаны в 1950-х годах. Машинописная версия хранится в Русском музее, куда Софья Исааковна сдала её в 1962 году. Другая, также рукописная, но беловая и более полная, находилась у дочери Софьи — Марины Шиловской.
Воспоминания частично опубликованы в указанном сборнике «Воспоминания о А. Н. Толстом» (1973).