Saan kinukuha ng AI ang impormasyon nito?

Kailanman umupo doon na nagkakamot ng ulo, parang... saan ba talaga nanggagaling ang bagay na ito ? Ibig kong sabihin, ang AI ay hindi gumagapang sa maalikabok na mga stack ng library o palihim na paglalaro ng shorts sa YouTube. Ngunit kahit papaano ay naglalabas ito ng mga sagot sa lahat-mula sa lasagna hacks hanggang sa black hole physics-parang mayroon itong napakalalim na filing cabinet sa loob. Ang katotohanan ay mas kakaiba, at maaaring mas nakakaintriga kaysa sa iyong hulaan. I-unpack natin ito ng kaunti (at oo, marahil ay mag-bust ng ilang mga alamat).

Sorcery ba ito? 🌐

Ito ay hindi pangkukulam, bagaman kung minsan ay ganoon ang pakiramdam. Ang nangyayari sa ilalim ng hood ay karaniwang hula ng pattern . Ang mga malalaking modelo ng wika (LLMs) ay hindi nag-iimbak ng mga katotohanan sa paraang pinanghahawakan ng iyong utak ang recipe ng cookie ng iyong lola; sa halip, sinanay silang hulaan ang susunod na salita (token) batay sa nauna [2]. Sa pagsasagawa, nangangahulugan iyon na kumakapit sila sa mga relasyon: kung aling mga salita ang magkasama, kung paano karaniwang nahuhubog ang mga pangungusap, kung paano binuo ang mga buong ideya tulad ng plantsa. Iyon ang dahilan kung bakit ang output ay tunog ng tama, kahit na-buong katapatan-ito ay istatistika na mimicry, hindi pag-unawa [4].

kapaki-pakinabang ang impormasyong nabuo ng AI ? Isang dakot ng mga bagay:

• Pagkakaiba-iba ng data - pagkuha mula sa hindi mabilang na mga mapagkukunan, hindi isang makitid na stream.

• Mga Update - nang walang mga ikot ng pag-refresh, mabilis itong nawawala.

• Pag-filter - perpektong nakakakuha ng basura bago ito tumagos (bagama't, maging totoo tayo, ang lambat na iyon ay may mga butas).

• Cross-checking - nakasandal sa mga pinagmumulan ng awtoridad (isipin ang NASA, WHO, mga pangunahing unibersidad), na kailangang-kailangan sa karamihan ng mga playbook ng pamamahala ng AI [3].

Gayunpaman, kung minsan ay gumagawa ito nang may kumpiyansa. Yung mga tinatawag na hallucinations ? Karaniwang pinakintab na katarantaduhan na inihatid sa isang tuwid na mukha [2][3].

Mga artikulong maaaring gusto mong basahin pagkatapos ng isang ito:

🔗 Maaari bang hulaan ng AI ang mga numero ng lottery
Paggalugad ng mga alamat at katotohanan tungkol sa mga hula sa lottery ng AI.

🔗 Ano ang ibig sabihin ng isang holistic na diskarte sa AI
Pag-unawa sa AI na may balanseng pananaw sa etika at epekto.

🔗 Ano ang sinasabi ng Bibliya tungkol sa artificial intelligence
Pagsusuri ng mga pananaw sa Bibliya sa teknolohiya at paglikha ng tao.

Mabilis na Paghahambing: Kung Saan Nagmula ang AI 📊

Hindi lahat ng pinagmulan ay pantay, ngunit ang bawat isa ay gumaganap ng kanilang bahagi. Narito ang isang snapshot view.

Ang Training Data Universe 🌌

Ito ang yugto ng "pagkatuto sa pagkabata". Isipin ang pagbibigay sa isang bata milyun-milyong storybook, news clipping, at Wikipedia rabbit hole nang sabay-sabay. Iyan ang hitsura ng pretraining. Sa totoong mundo, pinagsama-sama ng mga provider ang data na magagamit sa publiko, mga lisensyadong mapagkukunan, at text na binuo ng tagapagsanay [2].

Layered on top: curated human examples-good answers, bad answers, nudges in the right direction-bago pa man magsimula ang reinforcement [1].

Transparency caveat: hindi ibinubunyag ng mga kumpanya ang bawat detalye. Ang ilang mga guardrail ay lihim (IP, mga alalahanin sa kaligtasan), kaya bahagyang window lang ang makukuha mo sa aktwal na halo [2].

Real-Time na Paghahanap: Ang Extra Topping 🍒

Ang ilang mga modelo ay maaari na ngayong sumilip sa labas ng kanilang training bubble. Iyon ay retrieval-augmented generation (RAG) - karaniwang kumukuha ng mga tipak mula sa isang live na index o tindahan ng doc, pagkatapos ay hinabi ito sa tugon [5]. Perpekto para sa mabilis na pagbabago ng mga bagay tulad ng mga ulo ng balita o mga presyo ng stock.

Ang kuskusin? Ang internet ay pantay na bahagi ng henyo at apoy ng basura. Kung mahina ang mga filter o provenance check, nanganganib kang maibalik ang junk data-kung ano mismo ang babala ng risk frameworks [3].

Isang karaniwang solusyon: ang mga kumpanya ay nag-hook ng mga modelo sa kanilang sariling mga panloob na database, kaya ang mga sagot ay nagbabanggit ng kasalukuyang patakaran sa HR o na-update na doc ng produkto sa halip na i-wing ito. Isipin: mas kaunting "uh-oh" na sandali, mas mapagkakatiwalaang mga tugon.

Fine-Tuning: Ang Pagpapakintab ng AI 🧪

Ang mga hilaw na pretrained na modelo ay clunky. Kaya't sila ay naayos :

• Pagtuturo sa kanila na maging matulungin, hindi nakakapinsala, tapat (sa pamamagitan ng reinforcement learning mula sa feedback ng tao, RLHF) [1].

• Sanding down na hindi ligtas o nakakalason na mga gilid (alignment) [1].

• Pagsasaayos para sa tono-palakaibigan man iyon, pormal, o mapaglarong sarcastic.

Hindi ito nagpapakintab ng brilyante gaya ng pag-uugnay ng istatistikal na avalanche sa pag-uugaling higit na parang isang kasosyo sa pag-uusap.

Ang mga Bump at Mga Pagkabigo 🚧

Huwag nating ipagpalagay na ito ay walang kamali-mali:

• Hallucinations - malulutong na mga sagot na mali-mali [2][3].

• Bias - sinasalamin nito ang mga pattern na inihurnong sa data; maaari pa ngang palakasin ang mga ito kung walang check [3][4].

• Walang unang karanasan - maaari itong makipag-usap tungkol sa mga recipe ng sopas ngunit hindi nakatikim ng isa [4].

• Labis na kumpiyansa - ang tuluyan ay dumadaloy tulad ng alam nito, kahit na hindi. Ang mga balangkas ng peligro ay nagpapa-stress sa mga pagpapalagay [3].

Bakit Parang Alam 🧠

Wala itong mga paniniwala, walang memorya sa kahulugan ng tao, at tiyak na walang sarili. Ngunit dahil maayos nitong pinagsasama-sama ang mga pangungusap, binabasa ito ng iyong utak na parang naiintindihan . Ang nangyayari ay napakalaking susunod na token na hula : pag-crunch ng trilyong probabilities sa split-seconds [2].

Ang "intelligence" vibe ay lumilitaw na pag-uugali-tinatawag ito ng mga mananaliksik, medyo dila, ang "stochastic parrot" na epekto [4].

Pambata na Analogy 🎨

Isipin ang isang loro na nagbabasa ng bawat libro sa silid-aklatan. Hindi nito nakukuha ang mga kuwento ngunit maaaring i-remix ang mga salita sa isang bagay na sa palagay ay matalino. Minsan ito ay spot-on; minsan ito ay walang kapararakan-ngunit sa sapat na likas na talino, hindi mo palaging masasabi ang pagkakaiba.

Pagbabalot Ito: Saan Nagmumula ang Impormasyon ng AI 📌

Sa madaling salita:

• Napakalaking data ng pagsasanay (pampubliko + lisensyado + binuo ng tagapagsanay) [2].

• Fine-tuning gamit ang feedback ng tao upang hubugin ang tono/gawi [1].

• Mga sistema ng pagkuha kapag naka-hook up sa mga live na stream ng data [5].

Ang AI ay hindi "alam" ng mga bagay-ito ay hinuhulaan ang teksto . Iyon ang parehong superpower nito at ang takong ni Achilles. Bottom line? Palaging i-cross check ang mahahalagang bagay laban sa pinagkakatiwalaang source [3].

Mga sanggunian

1. Ouyang, L. et al. (2022). Pagsasanay ng mga modelo ng wika upang sundin ang mga tagubilin na may feedback ng tao (InstructGPT) . arXiv .

2. OpenAI (2023). GPT-4 Teknikal na Ulat - pinaghalong lisensyado, pampubliko, at data na nilikha ng tao; layunin at limitasyon ng susunod na token na hula. arXiv .

3. NIST (2023). AI Risk Management Framework (AI RMF 1.0) - pinanggalingan, pagiging mapagkakatiwalaan, at mga kontrol sa panganib. PDF .

4. Bender, EM, Gebru, T., McMillan-Major, A., Mitchell, S. (2021). Tungkol sa Mga Panganib ng Stochastic Parrots: Maaari Bang Maging Masyadong Malaki ang mga Modelo ng Wika? PDF .

5. Lewis, P. et al. (2020). Retrieval-Augmented Generation para sa Knowledge-Intensive NLP . arXiv .

Hanapin ang Pinakabagong AI sa Opisyal na Tindahan ng AI Assistant

Tungkol sa Amin