Всё началось, когда Наоми Шемер предложили написать песню для второй, внеконкурсной части Израильского фестиваля песни 1967 года, в течение которой должны были подсчитываться голоса. Фестиваль песни появился в начале 1960-х годов по инициативе национальной радиостанции «Коль Исраэль», проводился в Иерусалиме, в Международном конференц-центре, и был основной программой радиостанции в День независимости Израиля. В 1967 году этот праздник, отмечаемый по еврейскому календарю пятого ияра или в ближайшие к нему дни, приходился на 15 мая.
Мэр Иерусалима Тедди Коллек попросил, чтобы все песни, которые должны были исполняться в День независимости, имели отношение к Иерусалиму. Гиль Альдема, продюсер фестиваля, обыскал архивы «Коль Исраэль» и нашёл не более полудюжины песен, связанных с Иерусалимом, которые были написаны поэтами и композиторами Израиля с начала XX века. Ни в одной из песен, написанных после образования государства Израиль, не упоминалось, что город был разделён и евреи не имели доступа к Стене плача.
Полученное в описанных условиях предложение сочинить песню шокировало Наоми Шемер, но тем не менее она согласилась. Наоми была сильно привязана к Иерусалиму: там она окончила Музыкальную академию, там родила дочку. Каждый год она проводила в Иерусалиме с друзьями часть лета, а кроме того, город был для неё источником вдохновения. Некоторое время Шемер пыталась написать песню, но безуспешно, а затем позвонила Гилю Альдеме, намереваясь отказаться от своего обязательства. Альдема настаивал, что она должна сочинить песню, но разрешил не писать об Иерусалиме, а людям в своём офисе сказал: «Теперь она точно напишет об Иерусалиме». Той же ночью и родилась песня «Золотой Иерусалим». Наоми вспомнила историю из Талмуда о рабби Акиве, который сказал своей жене, лишившейся наследства отца: «Если бы я мог, я подарил бы тебе “золотой Иерусалим”». Так называлось женское украшение — золотая диадема, окружённая башенками в виде стен Иерусалима. Другие названия украшения — «корона невест», «золотая корона» и «золотой город». Шемер: «Все, наверное, помнят, что тогда Иерусалим был серым, а не золотым. Поэтому я спросила себя: “Ты уверена, золотой?” И что-то во мне ответило — “да, именно золотой”». Также слова «золотой Иерусалим» использовались в сочинениях нескольких поэтов незадолго до появления на свет песни Шемер.
За одну ночь Наоми сочинила и стихи, и музыку (данная версия песни, помимо припева, включала только два куплета, ставшие впоследствии первым и третьим), а на следующий день отнесла песню на «Коль Исраэль». Песня очень тронула Гиля Альдему.