Известный разработчик видеоигр Джон Кармак, основатель ИИ-стартапа Keen Technologies, выдвинул оригинальную идею по замене DRAM в инференсе нейронных сетей. Он предложил хранить веса модели в оптоволоконной петле, где информация передается через световые импульсы. По его оценкам, существующие технологии позволяют достигать скорости передачи до 256 Тбит/с на дистанции в 200 км, что дает возможность транспортировать 32 ГБ данных с пропускной способностью 32 Тб/с.
Кармак отметил, что при инференсе доступ к весам предсказуем, что позволяет интегрировать их передачу из оптоволоконного кольца в кэш L2 процессора, исключая необходимость в DRAM. Он сравнил это решение с ртутными линиями задержки 1940-х годов. Хотя для современных моделей с триллионом параметров потребуется большое количество таких петель, Кармак уверен в том, что рост пропускной способности оптоволокна даст возможность для развития этой идеи. В качестве более реалистичного варианта он предложил объединить недорогие флеш-чипы, которые могут обеспечить необходимую производительность.
Эта пост-идея собрала 1,3 миллиона просмотров за два дня, что подчеркивает актуальность поиска новых архитектур хранения данных на фоне дефицита HBM-памяти.