সবচেয়ে জনপ্রিয় এবং বহুল প্রচলিত লোকশ্রুতিটি হলো—ছোটবেলায় রাহুল দেব বর্মণ যখনই কাঁদতেন, তখন তাঁর কান্নার সুর সবসময় সপ্তকের পঞ্চম সুর বা “পা”-তে গিয়ে ঠেকত। শাস্ত্রীয় সঙ্গীতের নিখুঁত কানে ছেলের এই কান্নার অদ্ভুত সুরটি ধরে ফেলেন পিতা শচীন দেব বর্মণ (এস. ডি. বর্মণ)। কিংবদন্তি এই বড় বর্মণ তখন আদর করে ছেলের নাম রেখে দিলেন “পঞ্চম”।
তবে আর. ডি. বর্মণের ডাকনাম পঞ্চমের পেছনে আরেকটি জোরালো ঐতিহাসিক দাবি রয়েছে। ভারতীয় চলচ্চিত্রের মহানায়ক অশোক কুমার (যাঁকে সবাই দাদামণি বলে ডাকতেন) একবার ছোট্ট রাহুলকে দেখতে তাঁদের বাড়িতে আসেন।
রাহুল তখন একদম শিশু। দাদামণি খেয়াল করলেন, ছোট্ট রাহুল যখনই গুঞ্জন করছেন বা কাঁদছেন, তখন অবিকল ভারতীয় শাস্ত্রীয় সঙ্গীতের “পা” সুরটি তৈরি হচ্ছে। আবার কেউ কেউ বলেন, অশোক কুমার যখনই তাঁর দিকে তাকাতেন, শিশু রাহুল মুখ দিয়ে “পা, পা, পা” শব্দ করতেন। অশোক কুমার তখন রসিকতা করে বলেছিলেন, “আরে, এই ছেলে তো সবসময় পঞ্চম সুরেই কথা বলে!” সেই থেকে চলচ্চিত্র মহলে তাঁর নাম হয়ে যায় “পঞ্চম”।
আরেকটি তাত্ত্বিক ব্যাখ্যায় বলা হয়, শৈশবেই আর. ডি. বর্মণ যখন প্রথম গান গাইতে বা সুর ভাঁজতে শুরু করেন, তখন তিনি অনায়াসে যেকোনো গানের স্কেল পরিবর্তন করে টানা পাঁচটি ভিন্ন সুরের পর্দা (Notes) ছুঁয়ে ফেলতে পারতেন। তাঁর এই সহজাত সুরজ্ঞান দেখেই সঙ্গীতবোদ্ধারা তাঁকে “পঞ্চম” উপাধিতে ভূষিত করেন।