Skip to content · ഉള്ളടക്കത്തിലേക്ക്

AI ചാറ്റ്ബോട്ടുകൾ എങ്ങനെ പ്രവർത്തിക്കുന്നു: നിങ്ങളുടെ മലയാളം ചോദ്യം മുതൽ ഉത്തരം വരെHow AI chatbots work: from your Malayalam question to the answer

By Thompson Cherian · Updated

ആദ്യം ഉദാഹരണങ്ങളിൽ നിന്ന് മോഡലിന് പരിശീലനം. ഉപയോഗിക്കുമ്പോൾ ചോദ്യം, പരിശീലനം ലഭിച്ച മോഡൽ, കരട് മറുപടി, മനുഷ്യന്റെ പരിശോധന എന്ന ക്രമം.

പരിശീലനവും മറുപടി നൽകുന്നതും വ്യത്യസ്ത ഘട്ടങ്ങളാണ്. AI മറുപടി പരിശോധിക്കേണ്ട കരടാണ്; ശരിയാണെന്ന് ഉറപ്പില്ല.

Training and answering are different stages. A generated reply is a draft to check and can contain errors.

Two-stage diagram: examples train a model earlier; during use, a question goes to the trained model, which produces a draft for a person to check.

AI ഉപയോഗിച്ച് തയ്യാറാക്കിയ ചിത്രംAI-generated visual

AI ചാറ്റ്ബോട്ട് നിങ്ങളുടെ ചോദ്യത്തെ ടോക്കണുകൾ എന്ന ചെറിയ കഷണങ്ങളായി മുറിക്കുന്നു; പിന്നെ ഉത്തരം പൂർത്തിയാകുന്നതുവരെ അടുത്ത കഷണം വീണ്ടും വീണ്ടും പ്രവചിക്കുന്നു. ഓരോ കഷണവും പ്രവചിച്ച ഉടനെ അയയ്ക്കുന്നതുകൊണ്ടാണ് വാക്കുകൾ ഓരോന്നായി വരുന്നത്. സാധ്യതയുള്ള വാക്കുകളിൽ നിന്ന് അത് തിരഞ്ഞെടുക്കുന്നതുകൊണ്ട് രണ്ട് ഉത്തരങ്ങൾ വ്യത്യാസപ്പെടാം; ഒഴുക്കുള്ള ഉത്തരവും ഒരു ഊഹമാകാം.

An AI chatbot splits your question into small pieces called tokens, then predicts the next piece again and again until the answer is complete. Words appear one by one because each piece is sent as soon as it is predicted. Because it picks among likely words, two answers can differ, and a fluent answer can still be a guess.

മലയാളം

ഘട്ടം 1: നിങ്ങളുടെ ചോദ്യം ചെറിയ കഷണങ്ങളാകുന്നു

ചാറ്റ്ബോട്ട് ആദ്യം ടെക്സ്റ്റിനെ വാക്കുകളോ വാക്കിന്റെ ഭാഗങ്ങളോ അക്ഷരങ്ങളോ ആയ ടോക്കണുകളാക്കുന്നു.

ഒറ്റനോട്ടത്തിൽനിങ്ങളുടെ ചോദ്യം മുതൽ ഉത്തരം വരെ

ആറ് ഘട്ടങ്ങളുള്ള ഒഴുക്ക്: മലയാളം ടെക്സ്റ്റ്, ടോക്കണുകൾ, ആവശ്യമെങ്കിൽ വെബ് സെർച്ച്, അടുത്ത കഷണത്തിന്റെ പ്രവചനം (തെറ്റുകൾ കടന്നുവരുന്നിടം), സ്ട്രീം ചെയ്ത വാക്കുകൾ, ഉറവിടങ്ങളോടെയുള്ള മറുപടി.

  1. നിങ്ങളുടെ മലയാളം ടെക്സ്റ്റ്

    "നാളെ കോഴിക്കോട് മഴ ഉണ്ടാകുമോ?"

  2. ടോക്കണുകൾ

    ചെറിയ കഷണങ്ങളായി; ഓരോന്നും ഒരു സംഖ്യ

  3. ആവശ്യമെങ്കിൽ വെബ് സെർച്ച്

    പുതിയ ചോദ്യങ്ങൾക്ക് ഫലങ്ങൾ, ഉറവിടങ്ങളോടെ

  4. അടുത്ത കഷണം പ്രവചിക്കുന്നു

    'സ്റ്റോപ്പ്' വരെ വീണ്ടും വീണ്ടും. തെറ്റുകൾ കടന്നുവരുന്നത് ഇവിടെ: സാധ്യതയുള്ളത് സത്യമായിരിക്കണമെന്നില്ല.

  5. സ്ട്രീം ചെയ്ത വാക്കുകൾ

    ഓരോ കഷണവും തയ്യാറായ ഉടനെ കാണിക്കുന്നു

  6. മറുപടി + ഉറവിടങ്ങൾ

    സെർച്ച് ഉപയോഗിച്ചെങ്കിൽ ഉറവിടങ്ങൾ മറുപടിക്ക് താഴെ

Engane.AI-യിൽ "നാളെ കോഴിക്കോട് മഴ ഉണ്ടാകുമോ?" എന്ന് ടൈപ്പ് ചെയ്ത് അയയ്ക്കൂ. മറ്റെന്തും സംഭവിക്കുന്നതിന് മുമ്പ്, ആ ടെക്സ്റ്റ് ടോക്കണുകൾ എന്ന കഷണങ്ങളായി മുറിക്കപ്പെടുന്നു. ഒരു ടോക്കൺ മുഴുവൻ വാക്കാകാം, വാക്കിന്റെ ഒരു ഭാഗമാകാം, ഒരൊറ്റ അക്ഷരം പോലുമാകാം. നീണ്ട, കൂട്ടിച്ചേർത്ത വാക്കുകളുള്ള മലയാളത്തിൽ ഒരു വാക്ക് പലപ്പോഴും പല ടോക്കണുകളാകും.

എന്തിനാണ് മുറിക്കുന്നത്? കാരണം AI ഒരിക്കലും അർത്ഥവുമായി നേരിട്ട് പ്രവർത്തിക്കുന്നില്ല. അത് പ്രവർത്തിക്കുന്നത് സംഖ്യകളുമായാണ്. ഓരോ ടോക്കണിനും ഒരു സംഖ്യയുണ്ട്; ഏതൊക്കെ സംഖ്യകൾക്ക് പിന്നാലെ ഏതൊക്കെ വരാറുണ്ടെന്ന് വളരെ വലിയ അളവിലുള്ള ടെക്സ്റ്റിൽ നിന്ന് മോഡൽ പഠിച്ചിട്ടുണ്ട്. നിങ്ങളുടെ ചോദ്യം സംഖ്യകളുടെ ഒരു നിരയാകുന്നു; ആ നിരയാണ് മോഡൽ യഥാർത്ഥത്തിൽ കാണുന്നത്.

ഞങ്ങളുടെ ആദ്യ ലേഖനം വായിച്ചിട്ടുണ്ടെങ്കിൽ, പ്രധാന ആശയം നിങ്ങൾക്ക് ഇതിനകം അറിയാം: മോഡൽ ലക്ഷക്കണക്കിന് വാചകങ്ങൾ കണ്ട് അവയിലെ പാറ്റേണുകൾ പഠിച്ചിട്ടുണ്ട്. ആ പഠനം എങ്ങനെ ഒരു മറുപടിയാകുന്നു എന്ന് ഇനി നോക്കാം.

ഡാറ്റ, മോഡൽ, പ്രോംപ്റ്റ്, ടോക്കൺ, കോൺടെക്സ്റ്റ്, ഔട്ട്‌പുട്ട് എന്നീ ആറ് AI പദങ്ങൾ.

ഒരു യഥാർത്ഥ ചോദ്യത്തിലൂടെ പദങ്ങൾ പഠിക്കൂ. AI പ്രവർത്തനത്തിന്റെ വ്യത്യസ്ത ഭാഗങ്ങളെയാണ് ഇവ സൂചിപ്പിക്കുന്നത്.

AI ഉപയോഗിച്ച് തയ്യാറാക്കിയ ചിത്രം

ഘട്ടം 2: അടുത്ത കഷണം വീണ്ടും വീണ്ടും പ്രവചിക്കുന്നു

അടുത്ത ടോക്കൺ വീണ്ടും വീണ്ടും പ്രവചിച്ചാണ് മോഡൽ മറുപടി തയ്യാറാക്കുന്നത്.

അത്ഭുതപ്പെടുത്തുന്ന ഭാഗം ഇതാണ്. മോഡൽ ഒരു മുഴുവൻ ഉത്തരം ആസൂത്രണം ചെയ്തിട്ട് എഴുതുകയല്ല. അത് എപ്പോഴും ഒരേയൊരു ചെറിയ ചോദ്യത്തിന് മാത്രമാണ് ഉത്തരം പറയുന്നത്: ഇതുവരെയുള്ളതെല്ലാം നോക്കിയാൽ, ഏറ്റവും സാധ്യതയുള്ള അടുത്ത കഷണം ഏതാണ്?

നിങ്ങളുടെ ചോദ്യവും (ആപ്പ് നൽകിയ നിർദ്ദേശങ്ങളും — ഉദാഹരണത്തിന്, "ഊഷ്മളമായ, സ്വാഭാവിക മലയാളത്തിൽ മറുപടി പറയുക") നോക്കി അത് ഒരു ടോക്കൺ പ്രവചിക്കുന്നു. പിന്നെ ആ ടോക്കൺ അവസാനം ചേർത്ത് അടുത്തത് പ്രവചിക്കുന്നു. പിന്നെ അടുത്തത്. ഒരു പ്രത്യേക "സ്റ്റോപ്പ്" ടോക്കൺ പ്രവചിക്കുന്നതുവരെ ഇത് നൂറുകണക്കിന് തവണ ആവർത്തിക്കുന്നു; അതോടെ മറുപടി പൂർത്തിയാകുന്നു.

ഒരു ഏകദേശ താരതമ്യം: ഇതുവരെ പറഞ്ഞതിനോട് ഏറ്റവും യോജിക്കുന്ന വാക്ക് ഓരോ തവണയും തിരഞ്ഞെടുത്ത്, ഒരു വാചകം ഓരോ വാക്കായി പൂർത്തിയാക്കുന്ന വളരെ വേഗതയുള്ള ഒരു സുഹൃത്തിനെപ്പോലെ. വ്യത്യാസം ഇതാണ്: ഈ സുഹൃത്ത് ഏതൊരു മനുഷ്യനും വായിക്കാവുന്നതിലും കൂടുതൽ ടെക്സ്റ്റ് വായിച്ചിട്ടുണ്ട്; പക്ഷേ അതിലൊന്നിന്റെയും അർത്ഥം അതിന് അറിയില്ല.

വാക്കുകൾ ഓരോന്നായി വരുന്നത് എന്തുകൊണ്ട്

മുഴുവൻ മറുപടിക്കും കാത്തിരിക്കാതെ ലഭിക്കുന്ന ഭാഗങ്ങൾ ഉടനെ കാണിക്കുന്നതാണ് സ്ട്രീമിങ്.

ലാപ്‌ടോപ്പും ഫോണും കുറിപ്പുപുസ്തകവും ഉപയോഗിച്ച് ടൈപ്പ് ചെയ്യുന്ന സാങ്കൽപ്പിക വ്യക്തി.

നിങ്ങൾക്ക് എളുപ്പമുള്ള ഉപകരണവും ടൈപ്പിംഗ് രീതിയും തിരഞ്ഞെടുക്കൂ. അയയ്ക്കും മുമ്പ് വാക്കുകൾ പരിശോധിക്കൂ. AI സൃഷ്ടിച്ച ഉദാഹരണ ചിത്രം; വ്യക്തികൾ സാങ്കൽപ്പികമാണ്.

AI ഉപയോഗിച്ച് തയ്യാറാക്കിയ ചിത്രം

മോഡൽ ഒരു സമയത്ത് ഒരു കഷണം മാത്രം ഉണ്ടാക്കുന്നതുകൊണ്ട്, നിങ്ങൾക്ക് എന്തെങ്കിലും കാണിക്കാൻ മുഴുവൻ ഉത്തരത്തിനും വേണ്ടി ആപ്പ് കാത്തിരിക്കേണ്ടതില്ല. ഓരോ കഷണവും പ്രവചിച്ച നിമിഷം തന്നെ നിങ്ങളുടെ സ്ക്രീനിലേക്ക് അയയ്ക്കാം. ഇതിനെ സ്ട്രീമിംഗ് എന്ന് പറയുന്നു; Engane.AI-യിലെ മറുപടി നിങ്ങളുടെ മുന്നിൽ ടൈപ്പ് ചെയ്യുന്നതുപോലെ തോന്നുന്നത് അതുകൊണ്ടാണ്.

സ്ട്രീമിംഗ് മുകളിൽ ചേർത്ത ഒരു ദൃശ്യതന്ത്രമല്ല; ഉത്തരം ഉണ്ടാകുന്ന വിധത്തിന്റെ സത്യസന്ധമായ രൂപമാണത്. സ്ട്രീം ചെയ്യുമ്പോൾ Engane.AI മറുപടിയെ അതിന്റെ ആദ്യ വരിയിൽ പിടിച്ചുനിർത്തുകയും ചെയ്യുന്നു; അതിനാൽ താഴേക്ക് ചാടിക്കൊണ്ടിരിക്കുന്ന ടെക്സ്റ്റിന്റെ പിന്നാലെ ഓടാതെ, മുകളിൽ നിന്ന് വായിച്ചുതുടങ്ങാം.

ഒരു പ്രായോഗിക ഫലം: ആദ്യ വാചകം വ്യക്തമായി തെറ്റായ ദിശയിലാണ് പോകുന്നതെങ്കിൽ, കാത്തിരിക്കേണ്ടതില്ല. നിർത്തി, ചോദ്യം കൂടുതൽ നന്നായി ചോദിക്കൂ.

ഒരേ ചോദ്യത്തിന് രണ്ട് വ്യത്യസ്ത ഉത്തരങ്ങൾ കിട്ടുന്നത് എന്തുകൊണ്ട്

സാധ്യതയുള്ള ടോക്കണുകളിൽ നിന്ന് തിരഞ്ഞെടുക്കുന്നതിനാൽ ഒരേ ചോദ്യത്തിന് രണ്ട് മറുപടികൾ വ്യത്യസ്തമാകാം.

ഒറ്റനോട്ടത്തിൽരണ്ട് ഉത്തരങ്ങൾ വ്യത്യാസപ്പെടുന്നത് എന്തുകൊണ്ട്: ഓരോ ഘട്ടത്തിലും ഒരു തൂക്കമുള്ള പകിട

ഒരേ ചോദ്യത്തിൽ നിന്നുള്ള രണ്ട് പകിട ഉരുട്ടലുകൾ വ്യത്യസ്ത അടുത്ത വാക്കുകളിലേക്ക് (അവിയൽ, പായസം) നയിക്കുന്നു; വാക്കുകളിലെ വ്യത്യാസം സാധാരണമാണെന്നും വസ്തുതയിലെ വ്യത്യാസം പരിശോധിക്കണമെന്നും ഒരു കുറിപ്പ്.

  • ഒരേ ചോദ്യം, ഉരുട്ടൽ 1

    "സദ്യയിൽ" → അവിയൽ (ഏറ്റവും സാധ്യത) → സാമ്പാർ → ...

  • ഒരേ ചോദ്യം, ഉരുട്ടൽ 2

    "സദ്യയിൽ" → പായസം (സാധ്യത കുറവ്, എന്നാലും തിരഞ്ഞെടുത്തു) → ...

  • പൊതു തത്വം

    വാക്കുകളിലെ വ്യത്യാസം സാധാരണം. വസ്തുതയിലെ വ്യത്യാസം മുന്നറിയിപ്പ്: പരിശോധിക്കൂ.

"ഒരു നല്ല സദ്യയിൽ എന്തൊക്കെ വേണം?" എന്ന് രണ്ടു തവണ ചോദിച്ചാൽ, ഉള്ളടക്കത്തിൽ യോജിക്കുന്ന, എന്നാൽ വാക്കുകളിലും ക്രമത്തിലും നീളത്തിലും വ്യത്യാസമുള്ള രണ്ട് മറുപടികൾ കിട്ടും. ആദ്യമായി ഉപയോഗിക്കുന്ന പലരെയും ഇത് കുഴപ്പിക്കും. അതിന് ഉറപ്പില്ലേ? മറന്നുപോയോ?

രണ്ടുമല്ല. ഓരോ ഘട്ടത്തിലും മോഡലിന്റെ മനസ്സിൽ ഒരേയൊരു അടുത്ത കഷണമല്ല ഉള്ളത്; സാധ്യതകളോടെയുള്ള ഒരു പട്ടികയാണ്. "അവിയൽ" വളരെ സാധ്യതയുള്ളതാകാം, "സാമ്പാർ" അൽപ്പം കുറവ്, "പായസം" അതിലും കുറവ്. എപ്പോഴും ഏറ്റവും മുകളിലെ ഒറ്റ തിരഞ്ഞെടുപ്പ് എടുക്കുന്നതിന് പകരം (അത് ടെക്സ്റ്റിനെ കടുപ്പവും ആവർത്തനവുമുള്ളതാക്കും), ചാറ്റ്ബോട്ടുകൾ സാധാരണ നല്ല സ്ഥാനാർത്ഥികൾക്കിടയിൽ ഒരു തൂക്കമുള്ള പകിട ഉരുട്ടുന്നു. തുടക്കത്തിലെ വ്യത്യസ്തമായ ഒരു ഉരുട്ടൽ, ബാക്കി ഉത്തരത്തെ അൽപ്പം വ്യത്യസ്തമായ വഴിയിലേക്ക് അയയ്ക്കുന്നു.

അതുകൊണ്ട് രണ്ടാമത്തെ ഉത്തരം ആദ്യത്തേതിന്റെ തിരുത്തലല്ല. സാധ്യതയുള്ള ടെക്സ്റ്റിന്റെ അതേ കുളത്തിൽ നിന്നുള്ള മറ്റൊരു എടുപ്പ് മാത്രമാണ്. രണ്ട് ഉത്തരങ്ങൾ ഒരു വസ്തുതയിൽ വിയോജിക്കുന്നെങ്കിൽ, അത് മുന്നറിയിപ്പാണ്, തർക്കം തീർക്കലല്ല: വസ്തുത മറ്റെവിടെയെങ്കിലും പരിശോധിക്കൂ.

ഹാലൂസിനേഷൻ: ഒഴുക്കുള്ള ഊഹവും ഊഹം തന്നെ

ആത്മവിശ്വാസത്തോടെ പറയുന്ന മറുപടിയിലും കെട്ടിച്ചമച്ച വിവരങ്ങൾ ഉണ്ടാകാം; പ്രധാന അവകാശവാദങ്ങൾ പരിശോധിക്കൂ.

ഉറവിടം, തീയതി, താരതമ്യം, തീരുമാനം എന്നീ നാല് പരിശോധനാ ഘട്ടങ്ങൾ.

ആദ്യ ഉറവിടം കണ്ടെത്തൂ, തീയതി നോക്കൂ, വിശ്വസനീയമായ വിവരങ്ങളുമായി താരതമ്യം ചെയ്തശേഷം തീരുമാനിക്കൂ.

AI ഉപയോഗിച്ച് തയ്യാറാക്കിയ ചിത്രം

ഈ ലേഖനത്തിലെ ഏറ്റവും പ്രധാനപ്പെട്ട ആശയം ഇതാണ്. മോഡലിന്റെ ഒരേയൊരു ജോലി സാധ്യതയുള്ള ടെക്സ്റ്റ് ഉണ്ടാക്കുക എന്നതാണ്. "ഇത് സത്യമാണോ?" എന്ന് ചോദിക്കുന്ന ഒരു പ്രത്യേക ഘട്ടം അതിനില്ല. ഒരു വസ്തുത അത് പല തവണ കണ്ടിട്ടുണ്ടെങ്കിൽ, സാധ്യതയുള്ള ടെക്സ്റ്റും സത്യമായ ടെക്സ്റ്റും സാധാരണ ഒന്നുതന്നെയായിരിക്കും. കണ്ടിട്ടില്ലെങ്കിലും, സാധ്യത തോന്നിക്കുന്ന ടെക്സ്റ്റ് അത് ഉണ്ടാക്കും: വിശ്വസനീയമെന്ന് തോന്നുന്ന ഒരു തീയതി, ഒരു പേര്, ഒരു ബസ് നമ്പർ. ഇതിനെ ആളുകൾ ഹാലൂസിനേഷൻ എന്ന് വിളിക്കുന്നു. കൂടുതൽ നല്ല പേര് ആത്മവിശ്വാസത്തോടെയുള്ള ഊഹം എന്നാകാം.

അതുകൊണ്ടാണ് ഒരു ചാറ്റ്ബോട്ടിന് ഒരിക്കലും എഴുതപ്പെടാത്ത ഒരു പുസ്തകം കണ്ടുപിടിക്കാനും, ഒരു നിയമം തെറ്റായി ഉദ്ധരിക്കാനും, ഒരു നാട്ടിലെ വള്ളംകളി തെറ്റായ തീയതിയിൽ പറയാനും കഴിയുന്നത് — എല്ലാം കുറ്റമറ്റ മലയാളത്തിൽ. ഒഴുക്ക് തെളിവല്ല. ഒഴുക്ക് ഉണ്ടാക്കാനാണ് മോഡൽ നിർമ്മിച്ചിരിക്കുന്നത്.

ഇത് എത്ര തവണ സംഭവിക്കുന്നു എന്ന് ഞങ്ങൾ പറയില്ല; കാരണം സത്യസന്ധമായ കണക്കുകൾ ചോദ്യത്തെയും ഭാഷയെയും ദിവസത്തെയും ആശ്രയിച്ചിരിക്കും. ഞങ്ങൾക്ക് പറയാൻ കഴിയുന്നത് സ്വയം എങ്ങനെ സംരക്ഷിക്കാം എന്നാണ്:

  • പേരുകൾ, സംഖ്യകൾ, തീയതികൾ, ഉദ്ധരണികൾ എന്നിവയെ വസ്തുതകളായല്ല, പരിശോധിക്കേണ്ട അവകാശവാദങ്ങളായി കാണുക.
  • ഉറപ്പില്ലാത്തപ്പോൾ അത് പറയാനും, ഉറവിടങ്ങൾ കാണിക്കാനും AI-യോട് ആവശ്യപ്പെടുക.
  • പണം, ആരോഗ്യകാര്യങ്ങൾ, പരീക്ഷ, നിയമകാര്യങ്ങൾ എന്നിവയിൽ പ്രവർത്തിക്കുന്നതിന് മുമ്പ് യോഗ്യതയുള്ള ആളിനോടോ ഔദ്യോഗിക ഉറവിടത്തിലോ ഉറപ്പാക്കുക.

മറ്റ് ചാറ്റ്ബോട്ടുകളുടെ അതേ തരം മോഡലിലാണ് Engane.AI നിർമ്മിച്ചിരിക്കുന്നത്; അതിനാൽ അതേ തരം തെറ്റ് അതിനും പറ്റാം. ഇത് ഞങ്ങൾ വ്യക്തമായി പറയുന്നത്, ഒരു ഉപകരണത്തിന്റെ രൂപം അറിയുമ്പോൾ നിങ്ങൾ അത് കൂടുതൽ നന്നായി ഉപയോഗിക്കും എന്നതുകൊണ്ടാണ്.

സെർച്ച് ചേർക്കാതെ ഇന്നത്തെ വാർത്ത കാണാൻ കഴിയാത്തത് എന്തുകൊണ്ട്

വെബ് തിരച്ചിലിലൂടെ പുതിയ വിവരങ്ങൾ ലഭിക്കാം; നൽകിയ ഉറവിടങ്ങളും പരിശോധിക്കണം.

ഒരു നിശ്ചിത തീയതി വരെ ശേഖരിച്ച ടെക്സ്റ്റിൽ നിന്നാണ് മോഡൽ പഠിച്ചത്; ആ പഠനം അവിടെ മരവിച്ചു കിടക്കുന്നു. ഇന്നലെ രാത്രി കളിച്ച മത്സരത്തെക്കുറിച്ചോ, ഇന്നത്തെ സ്വർണ്ണവിലയെക്കുറിച്ചോ, പുതിയ സർക്കാർ പദ്ധതിയെക്കുറിച്ചോ ചോദിച്ചാൽ, സ്വന്തമായി അതിന് പഴയ പാറ്റേണുകളിൽ നിന്ന് ഊഹിക്കാനേ കഴിയൂ.

പരിഹാരം മോഡലിനെ വലുതാക്കുകയല്ല; ചോദ്യം ചോദിക്കുന്ന സമയത്ത് പുതിയ ടെക്സ്റ്റ് അതിന് കൊടുക്കുകയാണ്. ഒരു ചോദ്യത്തിന് ഇപ്പോഴത്തെ വിവരം വേണമെങ്കിൽ, Engane.AI ആദ്യം ഒരു വെബ് സെർച്ച് നടത്തി, ഫലങ്ങൾ മോഡലിന് കൈമാറി, അതിൽ നിന്ന് ഉത്തരം പറയാൻ ആവശ്യപ്പെടുന്നു. ഉപയോഗിച്ച ഉറവിടങ്ങൾ മറുപടിക്ക് താഴെ, ടെക്സ്റ്റിലെ അതേ നമ്പറുകളോടെ പട്ടികപ്പെടുത്തുന്നു; നിങ്ങൾക്ക് അവ തുറന്ന് സ്വയം വിലയിരുത്താം. "അവരുടെ എല്ലാവരുടെയും പേര് പറയൂ" പോലുള്ള തുടർചോദ്യം, വിഷയം തുടങ്ങിവെച്ച ചോദ്യത്തോടൊപ്പം ചേർത്താണ് സെർച്ച് ചെയ്യുന്നത്; അതിനാൽ സെർച്ച് വഴിതെറ്റില്ല.

ഇത് പ്രധാനമാകുന്നത് ലളിതമായ ഒരു കാരണത്താലാണ്: സെർച്ച് ഫലം പരിശോധിക്കാം; ഊഹം പരിശോധിക്കാനാവില്ല. ഒരു ഉത്തരത്തിന് താഴെ ഉറവിടങ്ങൾ കാണുമ്പോൾ, അവ ഉപയോഗിക്കൂ.

ആപ്പ് ഒരു പ്രൊഫൈൽ സൂക്ഷിക്കാതെ അത് നിങ്ങളെ ഓർക്കാത്തത് എന്തുകൊണ്ട്

സംഭാഷണത്തിന്റെ പശ്ചാത്തലവും സൂക്ഷിച്ച മുൻഗണനകളും ആപ്പിലെ സൗകര്യങ്ങളാണ്; മനുഷ്യനെപ്പോലെ മോഡൽ ഓർക്കുന്നതല്ല.

സാധാരണ ചോദ്യവും സ്വകാര്യ വിവരങ്ങൾ സൂക്ഷിച്ച അടച്ച പുസ്തകവും വേർതിരിച്ചുള്ള ചിത്രം.

പാസ്‌വേഡ്, OTP, അക്കൗണ്ട് വിവരങ്ങൾ, ആവശ്യമില്ലാത്ത സ്വകാര്യ വിവരങ്ങൾ എന്നിവ ചോദ്യത്തിൽ ചേർക്കരുത്.

AI ഉപയോഗിച്ച് തയ്യാറാക്കിയ ചിത്രം

മോഡലിന് സ്വയം നിങ്ങളെക്കുറിച്ച് ഒരു ഓർമ്മയുമില്ല. ഓരോ മറുപടിയും ആ നിമിഷം അതിന് നൽകുന്ന ടെക്സ്റ്റിൽ നിന്നാണ് ഉണ്ടാകുന്നത്: നിങ്ങളുടെ ഇപ്പോഴത്തെ ചോദ്യം, അതേ സംഭാഷണത്തിലെ മുൻ സന്ദേശങ്ങൾ, ആപ്പ് ചേർക്കുന്നതെന്തും. സംഭാഷണം അടച്ചാൽ, മോഡലിനെ സംബന്ധിച്ചിടത്തോളം, നിങ്ങൾ ഒരിക്കലും ഉണ്ടായിരുന്നിട്ടില്ല.

നിങ്ങൾ അനുഭവിക്കുന്ന ഏതൊരു "ഓർമ്മയും" ആപ്പിന്റെ ചെയ്തിയാണ്; അത് നിങ്ങളുടെ നിയന്ത്രണത്തിലുള്ള ഒന്നായിരിക്കണം. Engane.AI-യിൽ വ്യക്തിഗതമാക്കൽ വരുന്നത് ഓൺബോർഡിംഗിൽ നിങ്ങൾ പൂരിപ്പിക്കുന്ന പ്രൊഫൈലിൽ നിന്നാണ്: ഇഷ്ടഭാഷ, സ്ഥലം, പ്രായപരിധി, മറുപടികൾ എത്ര ഔപചാരികമായിരിക്കണം, എത്ര നീളമുള്ളതായിരിക്കണം, നിങ്ങളുടെ താൽപ്പര്യങ്ങൾ. മോഡലിന് അയയ്ക്കുന്നതിൽ ചാറ്റ് ആ പ്രൊഫൈൽ ഉൾപ്പെടുത്തുന്നു; അതിനാൽ മറുപടിക്ക് നിങ്ങളുടെ ജില്ല പരാമർശിക്കാനോ നിങ്ങളുടെ ശൈലിയോട് യോജിക്കാനോ കഴിയും. അത് നിങ്ങൾ സെറ്റ് ചെയ്യുന്നു; നിങ്ങൾക്ക് മാറ്റുകയും ചെയ്യാം.

ഇത് അറിയുന്നതിന് രണ്ട് ഗുണങ്ങളുണ്ട്. സംഭാഷണങ്ങൾക്കിടയിൽ AI എന്തുകൊണ്ട് "മറക്കുന്നു" എന്ന് നിങ്ങൾക്ക് മനസ്സിലാകും; നിങ്ങളെക്കുറിച്ച് അതിന് അറിയാവുന്നത് മാറ്റണമെങ്കിൽ എവിടെ നോക്കണമെന്ന് കൃത്യമായി അറിയാം.

സ്വയം കണ്ടു നോക്കൂ

ഒരേ ചോദ്യത്തിന്റെ രണ്ട് മറുപടികൾ താരതമ്യം ചെയ്ത് വാക്കുകളും വിവരങ്ങളും ശ്രദ്ധിക്കൂ.

മുകളിൽ പറഞ്ഞതെല്ലാം നേരിട്ട് കണ്ടുകഴിഞ്ഞാൽ വിശ്വസിക്കാൻ എളുപ്പമാണ്. Engane.AI തുറന്ന്, മലയാളത്തിൽ ഏതെങ്കിലും ചോദ്യം ചോദിച്ച്, മൂന്ന് കാര്യങ്ങൾ ശ്രദ്ധിക്കൂ: വാക്കുകൾ ഓരോന്നായി വരുന്നത്, പുതിയ വാർത്തയെക്കുറിച്ചുള്ള ഉത്തരത്തിന് താഴെ പട്ടികപ്പെടുത്തിയ ഉറവിടങ്ങൾ, ഒരേ കാര്യം രണ്ടു തവണ ചോദിക്കുമ്പോഴുള്ള ചെറിയ വ്യത്യാസങ്ങൾ.

പിന്നെ ഈ പരമ്പരയിലെ അടുത്ത ലേഖനം വായിക്കൂ; ഇതെല്ലാം ഒരു പ്രായോഗിക കഴിവാക്കി മാറ്റുന്നതാണത്: കൂടുതൽ നല്ല ഉത്തരങ്ങൾ കിട്ടുന്ന ചോദ്യങ്ങൾ എങ്ങനെ ചോദിക്കാം.

പതിവ് ചോദ്യങ്ങൾ

എന്താണ് ഒരു ടോക്കൺ?

ടോക്കൺ എന്നത് മോഡൽ പ്രവർത്തിക്കുന്ന ചെറിയ ഒരു ടെക്സ്റ്റ് കഷണമാണ് — ഒരു വാക്ക്, വാക്കിന്റെ ഭാഗം, അല്ലെങ്കിൽ ഒരു അക്ഷരം. നിങ്ങളുടെ ചോദ്യം ടോക്കണുകളായി മുറിക്കുന്നു; മറുപടി ഒരു സമയത്ത് ഒരു ടോക്കൺ വീതം ഉണ്ടാക്കുന്നു.

AI ഹാലൂസിനേഷൻ എന്നാൽ എന്താണ്?

AI ഒഴുക്കുള്ള, ആത്മവിശ്വാസമുള്ള, എന്നാൽ സത്യമല്ലാത്ത ടെക്സ്റ്റ് ഉണ്ടാക്കുന്നതിനെയാണ് ഇത് അർത്ഥമാക്കുന്നത് — ഉദാഹരണത്തിന്, ഇല്ലാത്ത ഒരു തീയതി അല്ലെങ്കിൽ പുസ്തകത്തിന്റെ പേര്. മോഡൽ സാധ്യതയുള്ള ടെക്സ്റ്റ് പ്രവചിക്കുന്നതുകൊണ്ടും, സത്യം പരിശോധിക്കുന്ന ഒരു പ്രത്യേക ഘട്ടം അതിന് ഇല്ലാത്തതുകൊണ്ടുമാണ് ഇത് സംഭവിക്കുന്നത്.

വാക്കുകൾ ഓരോന്നായി വരുന്നത് എന്തുകൊണ്ട്?

കാരണം മോഡൽ ശരിക്കും മറുപടി ഒരു സമയത്ത് ഒരു കഷണം വീതമാണ് ഉണ്ടാക്കുന്നത്; ഓരോ കഷണവും തയ്യാറായ ഉടനെ ആപ്പ് കാണിക്കുന്നു. ഇതിനെ സ്ട്രീമിംഗ് എന്ന് പറയുന്നു.

രണ്ടാം തവണ വ്യത്യസ്ത ഉത്തരം കിട്ടിയത് എന്തുകൊണ്ട്?

ഓരോ ഘട്ടത്തിലും മോഡൽ സാധ്യതയുള്ള പല അടുത്ത വാക്കുകളിൽ നിന്ന് തിരഞ്ഞെടുക്കുന്നു — ഒരു തൂക്കമുള്ള പകിട പോലെ. തുടക്കത്തിലെ വ്യത്യസ്ത തിരഞ്ഞെടുപ്പ് ബാക്കി വാക്കുകളെ മാറ്റുന്നു. വാക്കുകളിലെ വ്യത്യാസം സാധാരണം; വസ്തുതയിലെ വ്യത്യാസം പരിശോധിക്കണം.

ഇന്നത്തെ വാർത്തയെക്കുറിച്ചുള്ള ചോദ്യങ്ങൾക്ക് Engane.AI-ക്ക് ഉത്തരം പറയാൻ കഴിയുമോ?

പുതിയ ചോദ്യങ്ങൾക്ക് അത് ആദ്യം ഒരു വെബ് സെർച്ച് നടത്തി ഫലങ്ങളിൽ നിന്ന് ഉത്തരം പറയുന്നു; പരിശോധിക്കാൻ ഉറവിടങ്ങൾ മറുപടിക്ക് താഴെ പട്ടികപ്പെടുത്തുന്നു. സെർച്ച് ഇല്ലാതെ ഒരു ചാറ്റ്ബോട്ടിനും ഇന്നത്തെ സംഭവങ്ങൾ അറിയില്ല.

ചാറ്റ്ബോട്ട് എന്നെ ഓർക്കുമോ?

മോഡൽ സ്വയം ഓർക്കില്ല. ഓൺബോർഡിംഗിൽ നിങ്ങൾ സെറ്റ് ചെയ്യുന്ന പ്രൊഫൈൽ (ഭാഷ, സ്ഥലം, പ്രായപരിധി, ശൈലി, മറുപടിയുടെ നീളം, താൽപ്പര്യങ്ങൾ) ഉപയോഗിച്ചാണ് Engane.AI മറുപടികൾ വ്യക്തിഗതമാക്കുന്നത്; ആ പ്രൊഫൈൽ നിങ്ങൾക്ക് മാറ്റാം.

പരീക്ഷിച്ചുനോക്കാൻ അക്കൗണ്ട് വേണോ?

വേണം. ചാറ്റിന് ഒരു സൗജന്യ അക്കൗണ്ട് വേണം (ഇമെയിൽ ഉപയോഗിച്ച് രജിസ്റ്റർ ചെയ്താൽ, ആദ്യം അത് പരിശോധിച്ചുറപ്പിക്കണം). സൗജന്യ പ്ലാനിൽ ദിവസവും ഒരു നിശ്ചിത എണ്ണം സന്ദേശങ്ങൾ ഉൾപ്പെടുന്നു.

English

Step 1: your question becomes small pieces

A chatbot first breaks text into tokens, which can be words, word parts or characters.

At a glanceFrom your question to the answer

A six-step flow: Malayalam text, tokens, optional web search, next-piece prediction (where mistakes creep in), streamed words, reply with sources.

  1. Your Malayalam text

    "നാളെ കോഴിക്കോട് മഴ ഉണ്ടാകുമോ?"

  2. Tokens

    Split into small pieces, each a number

  3. Optional web search

    Fresh questions get results, with sources

  4. Predict the next piece

    Again and again, until 'stop'. Mistakes creep in here: likely is not the same as true.

  5. Streamed words

    Each piece shown as soon as it is ready

  6. Reply + sources

    Sources listed under the reply when a search was used

Type "നാളെ കോഴിക്കോട് മഴ ഉണ്ടാകുമോ?" into Engane.AI and press send. Before anything else happens, the text is chopped into pieces called tokens. A token may be a whole word, part of a word, or even a single letter. For Malayalam, with its long joined words, one word often becomes several tokens.

Why chop it up? Because the AI never works with meaning directly. It works with numbers. Every token has a number, and the model has learned, from a very large amount of text, which numbers tend to follow which. Your question is turned into a row of numbers, and that row is what the model actually sees.

If you read our first article, you already know the key idea: the model has seen millions of sentences and learned the patterns in them. Now watch how that learning turns into a reply.

Six AI vocabulary tiles: Data, Model, Prompt, Token, Context and Output.

Learn the words through a real question. They name different parts of how an AI system works.

AI-generated visual

Step 2: it predicts the next piece, again and again

The model predicts the next token repeatedly to build a reply.

Here is the surprising part. The model does not plan a whole answer and then write it. It only ever answers one small question: given everything so far, what is the most likely next piece?

It looks at your question (plus any instructions the app gave it, such as "reply in warm, natural Malayalam") and predicts one token. Then it adds that token to the end and predicts the next one. Then the next. It repeats this hundreds of times until it predicts a special "stop" token, and the reply is done.

A rough comparison: it is like a very fast friend finishing a sentence one word at a time, always choosing the word that fits most closely with everything said so far. The difference is that the friend has read more text than any human ever could, and has no idea what any of it means.

Why the words appear one by one

Streaming shows pieces of the reply as they arrive instead of waiting for the whole answer.

A fictional person typing at a desk with a laptop, phone and notebook.

Choose the device and input method that feel easiest; check the words before sending. Illustrative AI photo; fictional people.

AI-generated visual

Because the model produces one piece at a time, the app does not have to wait for the whole answer before showing you something. It can send each piece to your screen the moment it is predicted. This is called streaming, and it is why a reply in Engane.AI seems to be typed in front of you.

Streaming is not a visual trick added on top; it is the honest shape of how the answer is made. Engane.AI also keeps the reply anchored at its first line while it streams, so you can start reading from the top instead of chasing text that keeps jumping down the screen.

One practical consequence: if the first sentence is clearly going in the wrong direction, you do not have to wait. Stop, and ask the question a better way.

Why the same question can get two different answers

Choosing among likely tokens can make two replies to the same question different.

At a glanceWhy two answers differ: a weighted dice at every step

Two dice rolls from the same question lead to different next words (അവിയൽ versus പായസം); a note says different wording is normal but a different fact must be checked.

  • Same question, roll 1

    "സദ്യയിൽ" → അവിയൽ (most likely) → സാമ്പാർ → ...

  • Same question, roll 2

    "സദ്യയിൽ" → പായസം (less likely, still picked) → ...

  • Rule of thumb

    Different wording is normal. A different FACT is a warning: check it.

Ask "ഒരു നല്ല സദ്യയിൽ എന്തൊക്കെ വേണം?" twice and you will get two replies that agree on the substance but differ in wording, order and length. This puzzles many first-time users. Is it unsure? Did it forget?

Neither. At every step the model does not have one next piece in mind; it has a list of likely candidates with probabilities. "അവിയൽ" might be very likely, "സാമ്പാർ" a little less, "പായസം" less again. Rather than always taking the single top choice (which makes text stiff and repetitive), chatbots usually roll a weighted dice among the good candidates. A different roll early on sends the rest of the answer down a slightly different path.

So a second answer is not a correction of the first. It is another draw from the same pool of likely text. If two answers disagree on a fact, that is a warning sign, not a tie-breaker: check the fact elsewhere.

Hallucination: a fluent guess is still a guess

A confident-sounding answer may contain invented facts, so check important claims.

Four verification steps: Source, Date, Compare, Decide.

Find the original source, check its date, compare reliable information and then decide.

AI-generated visual

Now the most important idea in this article. The model's only job is to produce likely text. It has no separate step that asks "is this true?" When it has seen a fact many times, likely text and true text are usually the same. When it has not, it still produces likely-sounding text: a plausible date, a plausible name, a plausible bus number. People call this hallucination. A better name might be confident guessing.

This is why a chatbot can invent a book that was never written, misquote a rule, or put a village boat race on the wrong date, all in flawless Malayalam. Fluency is not evidence. Fluency is what the model is built to produce.

We will not tell you how often this happens, because honest numbers depend on the question, the language and the day. What we can tell you is how to protect yourself:

  • Treat names, numbers, dates and quotations as claims to check, not facts.
  • Ask the AI to say when it is unsure, and to show its sources.
  • For money, health, exams and legal matters, confirm with a qualified person or an official source before acting.

Engane.AI is built on the same kind of model as other chatbots, so it can make the same kind of mistake. We say this plainly because you use a tool better when you know its shape.

Why it cannot see today's news, unless a search is added

Web search can supply current information, but the linked sources still need checking.

The model learned from text collected up to a certain date, and that learning is frozen. Ask it about a match played last night, today's gold rate or a new government scheme, and on its own it can only guess from older patterns.

The fix is not to make the model bigger; it is to give it fresh text at question time. When a question needs current information, Engane.AI runs a web search first, hands the results to the model, and asks it to answer from them. The sources it used are listed under the reply, numbered as in the text, so you can open them and judge for yourself. A follow-up such as "tell me all their names" is searched together with the question that set the topic, so the search stays on track.

This matters for a simple reason: a search result can be checked; a guess cannot. When you see sources under an answer, use them.

Why it does not remember you, unless the app stores a profile

Conversation context and saved preferences are app features, not a model remembering like a person.

An ordinary question bubble separated from a locked notebook of private details.

Leave passwords, OTPs, account details and unnecessary personal information out of a question.

AI-generated visual

The model itself has no memory of you. Each reply is produced from the text it is given at that moment: your current question, the earlier messages in the same conversation, and whatever the app adds. Close the conversation and, as far as the model is concerned, you never existed.

Any "memory" you experience is the app's doing, and it should be something you control. In Engane.AI, personalisation comes from the profile you fill in during onboarding: your preferred language, your location, your age range, how formal you want replies, how long you want them, and your interests. The chat includes that profile in what it sends to the model, so the reply can mention your district or match your tone. You set it, and you can change it.

Knowing this has two benefits. You understand why the AI "forgets" between conversations, and you know exactly where to look when you want to change what it knows about you.

See it for yourself

Compare two replies to one question and notice both the wording and the facts.

Everything above is easier to believe once you have watched it happen. Open Engane.AI, ask any question in Malayalam, and notice three things: the words arriving one by one, the sources listed under a fresh-news answer, and the small differences when you ask the same thing twice.

Then read the next article in this series, which turns all of this into a practical skill: how to ask questions that get you better answers.

Questions people ask

What is a token?

A token is a small piece of text, a word, part of a word or a letter, that the model works with. Your question is split into tokens, and the reply is built one token at a time.

What does AI hallucination mean?

It means the AI produces fluent, confident text that is not true, such as a made-up date or book title. It happens because the model predicts likely text and has no separate step that checks truth.

Why do the words come one by one?

Because the model really does produce the reply one piece at a time, and the app shows each piece as soon as it is ready. This is called streaming.

Why did I get a different answer the second time?

At each step the model chooses among several likely next words, a bit like a weighted dice. A different early choice changes the rest of the wording. Different wording is normal; a different fact should be checked.

Can Engane.AI answer questions about today's news?

For fresh questions it runs a web search first and answers from the results, listing the sources under the reply so you can check them. Without a search, no chatbot knows today's events.

Does the chatbot remember me?

The model itself does not. Engane.AI uses the profile you set during onboarding (language, location, age range, tone, reply length, interests) to personalise replies, and you can change that profile.

Do I need an account to try it?

Yes. Chat needs a free account (if you sign up with an email address, you verify it first). The free plan includes a daily allowance of messages.

Published by Thompson Consulting (OPC) Private Limited on 2026-09-26 · updated 2026-09-29. The app and website design, code, text, question banks (Personality, IQ, Career — except the public-domain IPIP personality items), Malayalam translations, lesson and report formats, illustrations, animations, videos and music made for Engane.AI are owned by or licensed to Thompson Consulting (OPC) Private Limited and protected by the Copyright Act, 1957 and international copyright law.