EKA-1-ഉം Dhīr-ഉം: പുതിയ ഇന്ത്യൻ എഐ മോഡലുകൾ പരിശീലനവും ഭാഷയും പ്രാദേശിക ഉപയോഗവും എങ്ങനെ ബന്ധിപ്പിക്കുന്നു

വാർത്തകളിൽ ഇടംനേടാൻ കാരണം?

ഇന്ത്യഎഐ മിഷൻ (IndiaAI Mission) 3 നവംബർ 2026-ൽ ന്യൂഡൽഹിയിൽ വെച്ച് മൂന്ന് തദ്ദേശീയ നിർമ്മിത ബുദ്ധി (artificial intelligence) മോഡലുകൾ പുറത്തിറക്കി: സോക്കറ്റ് ലാബ്സ് ടെക്നോളജി ആൻഡ് റിസർച്ച് (Soket Labs Technology and Research) വികസിപ്പിച്ച EKA-1, സെൻടെക് എഐടെക് ഇന്നൊവേഷൻസ് (ZenteiQ AiTech Innovations) വികസിപ്പിച്ച Dhīr 2B-യും Dhīr 5B-യും. സബ്സിഡിയുള്ള കമ്പ്യൂട്ടിംഗ് സൗകര്യങ്ങളും ഗവേഷണച്ചെലവുകൾക്കുള്ള സഹായവും ഉൾപ്പെടെ, മിഷന്റെ ഇന്ത്യഎഐ ഇന്നൊവേഷൻ സെന്റർ (IndiaAI Innovation Centre) എന്ന സ്തംഭത്തിന് കീഴിലാണ് ഈ കമ്പനികൾക്ക് പിന്തുണ ലഭിച്ചത്.

ഒരു അടിസ്ഥാന മോഡൽ നൽകുന്നതെന്ത്

വിപുലമായ വിവരശേഖരത്തിൽ പരിശീലിപ്പിച്ചെടുക്കുന്ന ഒരു അടിസ്ഥാന മോഡലിനെ (foundation model) വിവിധതരം ജോലികൾക്കായി മാറ്റിയെടുക്കാൻ കഴിയും. ഒരു ഭാഷാ മോഡൽ (language model) എഴുത്തുകളിലെ ക്രമങ്ങൾ പഠിച്ചെടുക്കുകയും അത് മറുപടികൾ തയ്യാറാക്കാൻ അതിനെ സഹായിക്കുകയും ചെയ്യുന്നു. തുടർന്ന് ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകുക, കോഡ് എഴുതുക, അല്ലെങ്കിൽ ഒരു പ്രത്യേക മേഖലയിലെ രേഖകൾ കൈകാര്യം ചെയ്യുക തുടങ്ങിയ പ്രവർത്തനങ്ങൾക്കായി ഡെവലപ്പർമാർക്ക് ഈ പൊതു മോഡലിനെ അനുയോജ്യമായ രീതിയിൽ ചിട്ടപ്പെടുത്താം.

അടിസ്ഥാന മോഡൽ വികസിപ്പിക്കുന്നതിന് വലിയ തോതിലുള്ള ഡാറ്റയും കമ്പ്യൂട്ടിംഗ് ശേഷിയും സാങ്കേതിക വൈദഗ്ധ്യവും ആവശ്യമായതിനാൽ ഈ പൊതുവായ തുടക്കം ഏറെ പ്രധാനമാണ്. ആപ്ലിക്കേഷനുകൾക്ക് (applications) ഈ അടിത്തറയിൽ നിന്നുകൊണ്ട് സ്വന്തം നിർദ്ദേശങ്ങളും വിവരസ്രോതസ്സുകളും ഉപയോക്താക്കൾക്കായുള്ള സവിശേഷതകളും കൂട്ടിച്ചേർക്കാൻ സാധിക്കും. അതിനാൽ അടിസ്ഥാന മോഡലും പൂർണ്ണമായ ആപ്ലിക്കേഷനും നിർമ്മാണ പ്രക്രിയയുടെ വ്യത്യസ്ത ഘട്ടങ്ങളിലാണ് പ്രവർത്തിക്കുന്നത്.

പരാമീറ്ററുകൾ, ടോക്കണുകൾ, ഇൻഫറൻസ് എന്നിവ മനസ്സിലാക്കാം

പരിശീലന (training) വേളയിൽ, ഡാറ്റയിൽ നിന്ന് കാര്യങ്ങൾ പഠിക്കുന്നതിനനുസരിച്ച് മോഡൽ അതിലെ പരാമീറ്ററുകൾ (parameters) എന്ന് വിളിക്കുന്ന സംഖ്യാപരമായ മൂല്യങ്ങൾ ക്രമീകരിക്കുന്നു. ഭാഷാ മോഡലുകളിൽ എഴുത്തുകളെ ടോക്കണുകൾ (tokens) എന്ന ചെറിയ യൂണിറ്റുകളായാണ് പ്രോസസ്സ് ചെയ്യുന്നത്. വാചകങ്ങളെ വിഭജിക്കാൻ ഉപയോഗിക്കുന്ന സംവിധാനത്തിനനുസരിച്ച് ഒരു ടോക്കൺ എന്നത് ഒരു വാക്കിനെയോ വാക്കിന്റെ ഒരു ഭാഗത്തെയോ അല്ലെങ്കിൽ ഒരു അക്ഷരത്തെയോ സൂചിപ്പിക്കാം.

EKA-1 മോഡലിൽ 26.3 ബില്യൺ പരാമീറ്ററുകൾ ഉണ്ടെന്നും ഏകദേശം 7.5 ട്രില്യൺ ടോക്കണുകൾ ഉപയോഗിച്ചാണ് ഇതിന് പരിശീലനം നൽകിയതെന്നും മന്ത്രാലയം വ്യക്തമാക്കുന്നു. ഭരണഘടനയിലെ പട്ടികയിൽ ഉൾപ്പെട്ട 22 ഇന്ത്യൻ ഭാഷകളെയും ഇംഗ്ലീഷിനെയും ഇത് പിന്തുണയ്ക്കുന്നു; ഗണിതം, കോഡിംഗ്, യുക്തിപരമായ അപഗ്രഥനം (reasoning) എന്നിവയാണ് ഇതിന്റെ പ്രധാന ഉപയോഗമേഖലകൾ. ഈ രണ്ട് സംഖ്യകളും വ്യത്യസ്ത സവിശേഷതകളെയാണ് കാണിക്കുന്നത്: ഒന്നാമത്തേത് മോഡൽ പഠിച്ചെടുത്ത സംഖ്യാപരമായ ഘടനയെയും രണ്ടാമത്തേത് പരിശീലന സമയത്ത് പ്രോസസ്സ് ചെയ്ത ടെക്സ്റ്റ് യൂണിറ്റുകളുടെ അളവിനെയും സൂചിപ്പിക്കുന്നു.

പരിശീലനം ലഭിച്ച ഒരു മോഡൽ ഉപയോക്താവിന്റെ നിർദ്ദേശം സ്വീകരിച്ച് മറുപടി നൽകുന്ന ഘട്ടമാണ് ഇൻഫറൻസ് (inference). പരിശീലനം മോഡലിന്റെ പഠനശേഷി രൂപപ്പെടുത്തുമ്പോൾ, ഇൻഫറൻസ് ആ ശേഷികളെ പ്രായോഗിക ഉപയോഗത്തിലേക്ക് കൊണ്ടുവരുന്നു. വലിയ കമ്പ്യൂട്ടിംഗ് സംവിധാനങ്ങൾ ഉപയോഗിച്ച് വികസിപ്പിച്ച ഒരു മോഡലിനെ പിന്നീട് ഒരു ആപ്ലിക്കേഷനിൽ എങ്ങനെ വിന്യസിക്കാം എന്ന് വ്യക്തമാക്കാൻ ഈ വ്യത്യാസം സഹായിക്കുന്നു.

രേഖകളും പ്രാദേശിക വിന്യാസവും

ഔദ്യോഗിക വാർത്താക്കുറിപ്പ് പ്രകാരം Dhīr 2B, Dhīr 5B എന്നിവ ഇംഗ്ലീഷിനെയും 10 ഇന്ത്യൻ ഭാഷകളെയും പിന്തുണയ്ക്കുന്ന ഓപ്പൺ-സോഴ്‌സ് (open-source) ബഹുഭാഷാ മോഡലുകളാണ്. രേഖകളെ അടിസ്ഥാനമാക്കിയുള്ള ഓട്ടോമേഷൻ (automation), വിവരശേഖരണം (information retrieval), കൂടാതെ സർക്കാർ, വ്യവസായം, വിദ്യാഭ്യാസം, പ്രതിരോധം എന്നീ മേഖലകളിലെ സേവനങ്ങൾ എന്നിവയാണ് ഇവയുടെ ഉദ്ദേശിത ഉപയോഗങ്ങൾ. ഒരു സ്ഥാപനത്തിന്റെ സ്വന്തം പരിസരത്തുതന്നെ (on-premises) ഇവ വിന്യസിക്കാൻ കഴിയുമെന്നും, അനുയോജ്യമായ ഉപകരണങ്ങളിൽ തുടർച്ചയായ ക്ലൗഡ് കണക്റ്റിവിറ്റി ഇല്ലാതെ പ്രവർത്തിപ്പിക്കാനാകുമെന്നും സെൻടെക് വ്യക്തമാക്കുന്നു.

ഒരു ചോദ്യവും അതിനുമായി ബന്ധപ്പെട്ട് കണ്ടെത്തിയ രേഖകളും ഭാഷാ മോഡലിന് നൽകുന്നതും, മോഡൽ മറുപടി തയ്യാറാക്കുന്നതും ഈ ചിത്രം കാണിക്കുന്നു. — രേഖകളെ അടിസ്ഥാനമാക്കി പ്രവർത്തിക്കുന്ന സഹായി ചോദ്യത്തിനൊപ്പം പ്രസക്തമായ ഉറവിട വിവരങ്ങളും നൽകുന്നു. ക്ലാരിറ്റിയുടെ തനത് ആശയചിത്രം; ഉറവിടങ്ങൾ: ലൂയിസും മറ്റുള്ളവരും (2020), ഗൂഗിൾ മെഷീൻ ലേണിംഗ് ഗ്ലോസറി.

രേഖകളെ അടിസ്ഥാനമാക്കി പ്രവർത്തിക്കുന്ന (document-grounded) ഒരു സഹായി മറുപടി തയ്യാറാക്കുമ്പോൾ പ്രസക്തമായ ഉറവിട വിവരങ്ങൾ ഉപയോഗിക്കുന്നു. ഉദാഹരണത്തിന്, ഒരു ഓഫീസ് നടപടിക്രമത്തെക്കുറിച്ചുള്ള ചോദ്യത്തിന് ഉത്തരം നൽകുന്ന സംവിധാനത്തിന് ആദ്യം അതുമായി ബന്ധപ്പെട്ട നിർദ്ദേശങ്ങൾ തിരഞ്ഞെടുത്ത് ഭാഷാ മോഡലിന് നൽകാൻ കഴിയും. തുടർന്ന് ആ പ്രത്യേക ചോദ്യത്തിനായി നൽകിയ വിവരങ്ങളെ അടിസ്ഥാനമാക്കിയാണ് മോഡൽ മറുപടി തയ്യാറാക്കുന്നത്.

പ്രാദേശികമായി ഇൻഫറൻസ് പ്രവർത്തിപ്പിക്കുമ്പോൾ വിവരങ്ങളുടെ പ്രോസസ്സിംഗ് സ്ഥാപനത്തിന്റെയോ ഉപയോക്താവിന്റെയോ സ്വന്തം ഹാർഡ്‌വെയറിലാണ് നടക്കുന്നത്. ഇന്റർനെറ്റ് കണക്റ്റിവിറ്റി പരിമിതമായ ഇടങ്ങളിലും രേഖകൾ നിയന്ത്രിതമായ ചുറ്റുപാടിൽത്തന്നെ സൂക്ഷിക്കേണ്ട സാഹചര്യങ്ങളിലും ഇത് പ്രയോജനപ്പെടുന്നു. ഈ വിന്യാസ രീതി മോഡലിനെ അത് ഉപയോഗിക്കുന്ന സ്ഥാപനത്തിന്റെ ഉപകരണങ്ങൾ, രേഖകൾ, പ്രവേശന നിയന്ത്രണങ്ങൾ (access controls) എന്നിവയുമായി ബന്ധിപ്പിക്കുന്നു.

വിപുലമായ ഇന്ത്യഎഐ മിഷൻ

കേന്ദ്ര മന്ത്രിസഭ 7 മാർച്ച് 2024-ലാണ് ഇന്ത്യഎഐ മിഷന് അംഗീകാരം നൽകിയത്. കമ്പ്യൂട്ടിംഗ് ശേഷി, തദ്ദേശീയ മോഡലുകൾ, ഡാറ്റാസെറ്റുകൾ, ആപ്ലിക്കേഷൻ വികസനം, നൈപുണ്യ വികസനം, സ്റ്റാർട്ടപ്പ് ധനസഹായം, സുരക്ഷിതവും വിശ്വസനീയവുമായ എഐ എന്നിവയാണ് ഇതിന്റെ ഏഴ് സ്തംഭങ്ങൾ. ഒരു എഐ സംവിധാനത്തിലെ വ്യത്യസ്ത ആവശ്യങ്ങളെയാണ് ഇവ അഭിസംബോധന ചെയ്യുന്നത്: മോഡലുകൾ നിർമ്മിക്കാനുള്ള വിഭവങ്ങൾ, അവ ഉപയോഗിക്കുന്ന ആളുകളും സംരംഭങ്ങളും, ഉത്തരവാദിത്തമുള്ള വിന്യാസം വിലയിരുത്തുന്നതിനുള്ള രീതികൾ എന്നിവയാണവ.

ഉപസംഹാരം

ബഹുഭാഷാ മോഡലുകളുടെ വികസനത്തെയും പൊതു കമ്പ്യൂട്ടിംഗ് പിന്തുണയെയും പ്രാദേശികമായി വിന്യസിക്കാവുന്ന ആപ്ലിക്കേഷനുകളെയും ഈ പുറത്തിറക്കൽ ഒന്നിപ്പിക്കുന്നു. പരിശീലനം, ഇൻഫറൻസ്, രേഖകളെ അടിസ്ഥാനമാക്കിയുള്ള പ്രവർത്തനം എന്നിവ മനസ്സിലാക്കുന്നത് ഈ മുന്നേറ്റത്തെ വിലയിരുത്താൻ എളുപ്പമാക്കുന്നു: ഒരു മോഡൽ നിർമ്മിക്കുന്നതിനും പ്രായോഗിക ആവശ്യത്തിനായി അത് ഉപയോഗിക്കുന്നതിനും ഇടയിലുള്ള വ്യത്യസ്ത ഘട്ടങ്ങളാണ് ഇവയിലോരോന്നും വിശദീകരിക്കുന്നത്.