Вопреки распространенному мнению, нет никаких оснований полагать, что маджонг является древней игрой («в которую играл сам Конфуций», как пытаются в этом уверить многие продавцы наборов для игры) или же что игра эта была придумана конкретным человеком или группой людей. Несмотря на то, что происхождение маджонга можно проследить из глубины прошлого от основанных на сборе комбинаций карточных игр и домино, в которые играли в Китае на протяжении веков, история игры в том виде, в котором мы ее знаем сегодня, прослеживается не раньше, чем с конца 19 столетия.
Вероятней всего, маджонг происходит из китайских провинций вокруг городов Ханчжоу, Нанкин, Шанхай и Нинбо. Его непосредственным предшественником могла быть популярная карточная игра под названием «Ма-Тьао». Это была довольно простая игра, основанная на составлении комбинаций из карт четырех мастей, пронумерованных от 1 до 9, и четырех премиальных карт, которые позднее, в 19 веке, были заменены на 108 карт в трех мастях, называемых «Пин» («кружок»), «Со» («веревка») и «Ван» («десять тысяч»). Предположительно, именно эта игра в кругах чиновников, ученых людей и прочей элиты и эволюционировала в первую версию маджонга в конце 19 века.
Еще в 1905 году район Китая, где игра была популярна, ограничивался территориями в нижнем течении реки Янцзы и пригородами Пекина, но уже к 1920 году она распространилась по всей стране и стала национальной игрой. Несмотря на то, что развитие игры началось в провинциях вокруг Нинбо, своего максимального развития она достигла в Южном Китае.
Две наиболее популярные в то время версии маджонга, известные как «Шанхайский маджонг» и «Кантонский маджонг», были проще классической версии игры в том, что касается подсчета очков и являлись скорее уцелевшими формами первоначального маджонга, чем упрощенными формами классической игры. Европейские и американские версии маджонга в большинстве своем основаны именно на этих популярных формах. Так называемый «Европейский классический маджонг» - один из примеров такого варианта классического маджонга.
Название игры – «Маджонг» (иногда его пишут как «ма-джонг», «ма джонг») – это англизированная форма китайского слова, которое на шанхайском диалекте произносится как «ма-чонг», где «ма» означает «лен», «чонг» - «птица», а вместе, как составное слово – «воробей».
Существует несколько теорий, объясняющих, почему игра была названа так. Некоторые утверждают, что стук костей напоминает щебетание воробья; другие полагают, что достать выигрышную кость также сложно как поймать воробья. Воробей в Китае считается также птицей, символизирующей сообразительность. Для некоторых предсказателей будущего воробей – это проводник, видимый представитель невидимого. С другой стороны, вполне возможно, что современное название игры есть всего лишь искаженное имя ее предшественника – «Ma-Тьао», которое на некоторых диалектах произносится почти как «ма-чонг». На современном мандаринском диалекте китайского языке маджонг произносится как «мацзян».