Maaasahan ba ang AI? [Video at Pagsusulit]

Maikling sagot: Ang AI ay hindi maaasahan bilang isang katangian: depende ito sa gawain, sa retrieval loop, at sa isang taong nasa proseso pa rin. Ang uptime ay kung nasagot ang endpoint; ang katotohanan ay kung tama ang sagot. Gamitin ito kapag mura o madaling mahuli ang isang pagkakamali; bagalan kapag magastos ang isang pagkakamali.

Mga pangunahing punto:

Pananagutan: Pangalanan kung sino ang nagrerepaso, kung sino ang maaaring magpahinto nito, at kung sino ang nasa alanganin.

Transparency: Siyasatin ang nakuhang bahagi, kung hindi ay nasa dilim ka pa rin.

Kakayahang Ma-audit: Mga prompt sa pag-log, pagkuha ng mga chunks, at pagpapadala upang masubaybayan ang mga pagkakamali.

Paglaban sa Maling Paggamit: Pagkabigo sa mga usaping may kinalaman sa pera; huwag kailanman mag-imbento ng mga numero, bintana, o polisiya.

Mga naglalarawang resulta: Ituring ang isang 20-tanong na naglalarawang pagsusulit bilang isang mapa, hindi 95% na patunay.

Mga artikulong maaaring gusto mong basahin pagkatapos nito:

🔗 Paano gamitin ang AI sa pang-araw-araw na buhay
Tuklasin ang mga praktikal na paraan kung paano mapapasimple ng AI ang mga pang-araw-araw na gawain at gawain.

🔗 Paano gamitin ang AI sa trabaho
Alamin ang mga praktikal na paraan upang mapabuti ang produktibidad at kahusayan gamit ang AI.

🔗 Kaya bang mag-isip ang AI para sa sarili nito?
Tuklasin kung ang artificial intelligence ay tunay na kayang mag-isip nang mag-isa at mangatwiran.

🔗 Ano ang mga uri ng AI?
Unawain ang mga pangunahing uri, kakayahan, at pangunahing pagkakaiba ng AI.

Ang ibig sabihin ng "maaasahan" kahit na ang makina ay isang statistical parrot

Ang pagiging maaasahan, sa pang-araw-araw na pananalita, ay nangangahulugang maaari kang masandalan sa isang bagay.

Sa pamamagitan ng automation na nagsasalita, ang isang tumpok ng iba't ibang katangian ay nagtatago sa ilalim ng isang salita. Factuality. Consistency. Calibration - kung ang kumpiyansa ng modelo ay tumutugma sa posibilidad na ito ay tama, o kung ito ay... tila sigurado. Kaligtasan. Oras ng operasyon. Mabilis na sensitivity. Pag-uugali sa mga edge case. Pag-uugali pagkatapos ng shift ng distribution, kapag ang live world ay hindi ang training world. Wala sa mga iyon ang nabibigo nang magkasama. Iyan ang bahaging nilalaktawan ng mga tao.

Ang isang chatbot ay maaaring "gising" buong linggo at mali pa rin sa Martes ng hapon. Ang isang coding copilot ay maaaring maayos sa boilerplate at pagkatapos ay maghalusinasyon ng isang API na eksaktong kamukha ng tunay. Ang metapora na ginagamit ng mga tao ay "isang junior colleague". Ito ay hindi perpekto - ang mga junior ay napapahiya - ngunit ito ay mas malapit kaysa sa "oracle".

Ang live test ay maaasahan sa ano, para kanino, at alin na umiikot dito. Kung hindi, minamarkahan mo ang isang blender kung kaya nitong magbayad ng buwis.

Ang uptime ay hindi katapatan - dalawang magkaibang uri ng "maaasahan"

Ang mga taong Ops at ang mga taong Truth ay gumagamit ng iisang salita at nag-uusap nang hindi pantay.

Ang uptime ay "sinagot ba ang endpoint?" Ang pagiging totoo ay "sinagot ba ang endpoint?" Ang pamamahala ay nagmamalasakit sa pareho, at ang panganib ng modelo ay nasa pangit na puwang. Maaari kang magkaroon ng isang serbisyo na hindi kumukurap at nagpapadala pa rin ng isang mahusay na kasinungalingan sa isang tiket ng customer. Maaasahan sa kahulugan ng SRE. Hindi maaasahan sa kahulugan ng "huwag mag-imbento ng patakaran sa refund".

Siguro halata na nakasulat na ito. Hindi halata sa alas-4 ng hapon kung kailan mabilis ang reply at napakalaki ng pila. Parang may kakayahan ang bilis. Dati ang bagal ay nangangahulugang may nag-iisip. Ngayon, ang bilis na ang hudyat na wala namang nag-iisip.

Ang kaligtasan ay isa pang aksis. Ang isang modelo na tumatanggi sa isang masamang jailbreak ay "maaasahan" sa paraang pagsusuri sa kaligtasan at maaari pa ring masira ang buod ng iyong sariling mga tala.

Ang matatas at mali ay mas masahol pa sa malamya at prangka

Ito ang problema sa kumpiyansa, at ito ang siyang nakakasira.

Naghiwalay ang katumpakan at kahusayan at nanatili ang kahusayan. Ang isang LLM ay magbibigay sa iyo ng ritmo, pag-iingat sa mga tamang lugar, marahil isang pekeng-ngunit-magandang hugis ng pagbanggit. Nababasa ng iyong utak ang "alam ng taong ito". Maliban na lang kung hindi ito isang tao, at ang pagkakalibrate ay kadalasang napakasama - mataas na kumpiyansa, katamtamang katotohanan, na inihahatid na parang isang pangunahing tono.

Ang isang malamya at maling sagot ay nagpapahina sa iyo. Ang isang mahusay at maling sagot ay nagpapahinto sa iyo sa pagsuri. Hindi iyon maliit na pagkakaiba; ito ang buong kuwento sa isang medyo nakakainis na pangungusap.

Naroon din ang bias, hindi palaging bilang paninirang-puri, mas bilang isang default na paglalarawan kung sino ang nasa silid at kung aling lasa ng Ingles ang maituturing na neutral. Nalilinlang ang mga tao dahil ang wika ang pinakamatanda nating pinagkakatiwalaang interface. Kung nagsasalita ito na parang isang maikling salita, tinatrato rin natin ito na parang isang maikling salita. Gusto ko pa ring maging mas mapang-uyam tungkol doon. Pagkatapos ay nagbasa ako ng isang mababaw na buod at napapayuko ako. Pagpasok ko sa isang pulong, mukhang tapos na ang buod. Masyadong maraming ginagawa ang pangungusap na iyon, at gayon pa man: ganoon pumapasok ang hindi magandang ideya sa deck.

Pagiging maaasahan batay sa sitwasyon, hindi batay sa tatak

Ang mga tatak ay isang pang-abala. Ang pagkukumpara na siyang dahilan ng problema ay ang trabaho. Magtatalo ang mga tao. Ayos lang 'yan.

Gayunpaman. Kung ang paborito mong kagamitan ay mahusay sa mga draft at nahuli mo ang iyong sarili na humihingi nito ng legal-adjacent comfort sa hatinggabi, hindi iyon isang upgrade. Iyan ang mapa na nagsasabing iniwan mo na ito.

Mga halusinasyon, pag-anod, at ang tahimik na uri ng mali

halusinasyon dahil maanghang ito: isang librong hindi naman talaga umiiral, isang tungkuling hindi kailanman naipadala, isang sugnay sa patakaran na may numerong tila opisyal.

Hindi gaanong sinematiko ang drift. Gumagalaw ang mundo. Nanatili ang mga natira sa modelo. Magtatanong ka ng tanong na nangangailangan ng bagong konteksto at makakakuha ka ng maayos na sagot mula sa nakaraang panahon. Muntik ko nang isulat ang "mula sa ibang panahon" doon, na siyang labis na pagpapahayag na hinihikayat ng paksang ito. Hindi ito ibang panahon. Hindi lang ito ngayon.

Ang tahimik na pagkakamali ang mas pinahahalagahan ko. Isang buod na nag-aalis ng eksepsiyon. Isang paraphrase na nag-a-upgrade sa isang marahil tungo sa isang dapat. Ang katotohanan ay maaaring maging "teknikal na maayos" habang ang kahulugan ay nadulas.

Ang mabilis na pagiging sensitibo ay lalong nagpapalala nito. Baguhin ang balot at ang kinang ng "mga katotohanan". Magtanong nang may pag-aalinlangan, kumuha ng mga bakod. Magtanong nang nagmamadali na parang boss, kumuha ng mabilis na pag-angkin. Kung ang iyong pagsusuri ay gumagamit lamang ng isang kasuotan, ang iyong pagsusuri ay medyo kasinungalingan. Pasensya na.

ang mga jailbreak , at ayoko ng pelikulang pagnanakaw. Kung ang isang sistema ay maaaring hikayatin na itigil ang pag-uugali nito, ang pagiging maaasahan ay hindi lamang tungkol sa katotohanan; ito ay kung ang mga guardrail ay isang loop o isang poster.

Mga tira sa pagsasanay, lumang kaalaman, at kung bakit ang grounding ay hindi isang mahiwagang wand

Ang mga generative model ay sinasanay sa isang bunton, pagkatapos ay itinuturo sa iyong Martes. Ang retrieval ay ang pagtatangka ng isang nasa hustong gulang na itali ang kasalukuyan sa bunton na iyon. Ang grounding ay nangangahulugang "sagot mula rito, hindi mula sa hamog". Kapag nabigo ito, magalang itong nabibigo.

Klasikong pagkabigo: kinukuha ng retriever ang isang dokumentong muntik nang mabigo. Sinusulat ito ng generator nang may lubos na kahinahunan. Nakakakita ka ng isang bagay na hugis-source at ang iyong instinct sa pagsuri ay nagsisimulang mag-clock. Ginagawa ko ito. Malamang na ginagawa mo ito. Tama ang ideya ng citation; ang implementasyon ay kasinghusay lamang ng hit.

Ang isa pang tagas ay ang lumang kaalaman. Ang ilang mga gawain ay nangangailangan ng isang aktwal na estado - mga presyo, imbentaryo, ang kasalukuyang mga salita ng isang patakaran. Ang ilan ay nangangailangan ng isang matatag na kasanayan, tulad ng kung paano bumuo ng isang memo. Paghaluin ang mga iyon at makakakuha ka ng isang napakatiyak na sagot tungkol sa isang mundong gumalaw na. Ang paglipat ng distribusyon ay ang tawag sa matatanda: ang live na distribusyon ay hindi ang distribusyon ng pagsasanay, at ang mga edge case ay naninirahan sa puwang.

Isa pa, sinabi nang may maling gitling dahil ganoon ang hitsura ng mga tala ko: ang grounding ay isang sahig - hindi isang halo. Kung hindi mo masuri ang nakuha na bahagi, nasa hamog ka pa rin, mas maliwanag lang.

Teatro ng Ebalwasyon: bakit ang isang demo ay isang kakila-kilabot na pagsubok

Maganda ang mga demo. Medyo prangka ang mga benchmark, at hindi pa rin ito ang trabaho mo.

Isang malinis na prompt at isang gawaing nakita ng modelo sa libu-libong pinsan nito - siyempre mukhang matalas ito. Ang ebalwasyon na sumusukat lamang diyan ay sumusukat sa isang dula sa entablado. Ang mga live na daloy ng trabaho ay may gusot na pag-paste, nawawalang mga file, at isang user na tatanggap sa unang sagot na magbabawas sa kanilang pagkabalisa.

Mahalaga ang mga benchmark. Hindi lang ito kasinghusay ng pagpapanggap ng mga deck. Ang score sa leaderboard ay hindi calibration sa iyong mga tiket. Ang model risk sa isang kumpanya ay "ano ang mangyayari kapag mali ito sa volume", hindi "pumasa ba ito sa isang trivia set". Ang mga pagsusulit na kailangan mo ay tuyo: manatili sa loob ng nakuha na sipi; i-flag ang kawalan ng katiyakan sa halip na magbluff; manatiling consistent kapag binabago ang iyong phrase; bumagsak nang sarado (tumanggi, magtanong, magpaliban) sa halip na mabigo nang bukas (mag-imbento).

Napanood ko na ang mga tao na itinuturing ang isang kahanga-hangang pagtatapos bilang patunay. Para bang pagpapasya na ang isang restawran ay "maaasahan" dahil maganda ang pampagana. Siguro nga. Siguro ay nagkaroon ng magandang sampung minuto ang kusina.

May kaunting kontradiksyon: Gumagamit pa rin ako ng mga demo para maramdaman. Hindi ko lang ginagamit ang pakiramdam.

Maaasahan ba ang AI? Kung mayroon pa ring nasa alanganin

Ang human-in-the-loop ang tanging disenyo na tumutugma sa mga failure mode.

Kung walang mananagot, gagamitin ang sistema na parang ganoon. Ang pamamahala ay ang hindi kaakit-akit na tawag para sa "sino ang nagrerepaso, sino ang maaaring pumigil dito, ano ang naitatala, ano ang mangyayari pagkatapos ng isang pagkakamali". Ginagawang mas matalas ito ng mga ahente dahil gumagawa sila ng mga aksyon, hindi lamang mga talata. Mura ang isang draft na hindi mo ipinadala. Ang isang tool call na hindi mo sinasadya ay hindi mura.

Pangalanan kung sino ang nasa alanganin. Kung ang sagot ay "ang modelo," wala kang sagot. Hindi pumupunta ang mga modelo sa pulong pagkatapos ng insidente. May isang tao na pumupunta, o isang vacuum cleaner ang pumupunta at pagkatapos ay isang abogado.

Piliin ang mga tsek na tumutugma sa blast radius. Isang pagsusuri sa antas ng spellcheck para sa isang social post. Isang source-check para sa anumang nagsasabing totoo. Isang propesyonal para sa anumang bagay na may kaugnayan sa medisina, batas, kredito, mga operasyong kritikal sa kaligtasan. Para sa mga iyon, ang tao ay wala sa "loop". Ang tao ang loop. Ang modelo ay isang stub. Hindi iyon pag-aalinlangan bilang isang personalidad. Iyon ang panlasa.

Sa ngayon, uso ang pagtatago ng tseke sa likod ng makintab na send button. Sa mga panahong ito, ganoon mo sinasadyang i-automate ang isang tsismis. Kamakailan lang, mas nagiging matamlay ako tungkol dito, at mas gumanda ang trabaho ko.

Paano magtanong para mahuli mo ang hindi mo alam

Maaari mong tanungin ang mga sistemang ito nang hindi nagiging isang propesyonal na nagdududa sa sikat ng araw.

• Sadyaing itanong ang kawalan ng katiyakan. "Ano ang magpapamali nito?" kaysa sa "gawin itong may kumpiyansa".

• Hatiin ang pagkuha mula sa henerasyon kung kaya mo. Tingnan muna ang mga sipi. Pagkatapos ay hingin ang isinulat.

• Palitan ang kasuotan. Ulitin ang parirala. Hilingin dito na mangatwiran sa kabaligtaran. Ang pagiging sensitibo ng prompt ay parang flashlight kung gagamitin mo ito sa ganoong paraan.

• Mga limitasyon sa puwersa: "mula lamang sa tekstong aking idinikit", "kung kulang, sabihin nating kulang". Nakakagulat na masunurin dito ang mga modelo... hanggang sa hindi. Suriin pa rin.

• Mas gusto ang mga gawaing may verifier. Mga compiler, linter, schema check, at pangalawang pares ng mata. Mahilig si Reliability sa grader.

• Abangan ang magiging resulta: dagdag na espesipiko. Isang pigura na may eksaktong hitsura, isang pinangalanang kaso, isang maayos at may numerong sugnay -- diyan gustong magbihis ang halusinasyon.

• Panatilihing nakikita ang mga hakbang ng tao. Kung itatago ng UI ang tseke, hindi ito gagawin ng mga tao. Muwebles lang iyon, hindi isang pagkukulang sa moralidad.

Wala sa mga ito ang nagpapa-"totoo" sa modelo. Ginagawa nitong hindi gaanong madaling mapaniwala ang loop. Na, sa palagay ko, ang produkto.

Kung saan ka iniiwan ng mapa

Kaya. Ang tanong na oo/hindi ay gumagana lamang bilang isang pintuan.

Maaasahan ba ang AI? Hindi bilang isang katangian. Bilang isang katangian ng isang gawain, isang dataset, isang retrieval loop, isang ebalwasyon na hindi isang demo, at isang tao na kailangan pa ring maging tapat dito. Patuloy tayong lilinlangin ng kahusayan dahil tayo ay mga hayop sa wika at ang mga sistemang ito ay mga makina ng wika. Patuloy na malilito ang uptime sa katotohanan dahil pareho silang parang "gumana ito". Patuloy na kikita ang mga copilot sa gusot na gitna - mga draft, mga buod na maaari mong basahin nang mabilis, mga code na maaari mong i-compile - at hindi ligtas kapag ini-outsource natin ang paghatol sa isang talata na walang pakialam.

Gamitin ang mga ito kung saan mura o madaling mahuli ang isang pagkakamali. Dahan-dahanin kung saan magastos ang isang pagkakamali. Iyan ang direktang sagot, at higit pa ito sa isang slogan.

Kung kukuha ka ng isang bagay: itigil mo na ang pagtatanong sa modelo kung sigurado ba ito. Panoorin mo kung ano ang mangyayari kapag tinanong mo ito kung paano ito maaaring mali. Pagkatapos ay suriin mo.

Halimbawa sa totoong buhay: Pagbuo ng AI assistant para sa membership-policy

Senaryo

Si Priya ang namamahala ng kaalaman para sa Harbour Membership, isang 70-kataong trade body sa UK para sa mga independent gym. Tatlong tao ang sumasagot sa mga tanong ng mga miyembro. Ang pinagmumulan ng katotohanan ay isang 180-pahinang handbook, na ina-update bawat quarter, kasama ang mga lumang PDF sa isang shared drive na walang sinuman ang may lakas ng loob na burahin.

Bumili na ang Leadership ng helpdesk copilot. Maganda ang demo. Maayos naman ang uptime. Sa ikalawang linggo, isang maayos na draft ang nagsasabi sa isang miyembro na maaari silang mag-freeze nang 14 na araw at makakuha ng buong refund "bilang pamantayan". Hindi iyon ang patakaran. Nahuli ito ng ahente dahil binubuksan pa rin nila ang handbook kahit may pera. Ang tanong ng Leadership, na ipinadala na parang oo o hindi, ay: maaasahan ba ang AI?

Tumanggi si Priya sa hatol. Itinuring niya itong parang isang mapa. Ang trabaho ay hindi "magbigay ng orakulo sa mga miyembro". Ito ay "magsulat ng sagot mula sa kasalukuyang handbook, ipakita ang sipi, at magsara kapag kulang ang sipi". Kung hindi iyon magagawa ng copilot, ito ay isang laruan sa pagbalangkas, hindi isang policy desk.

Ang kailangan ng katulong

• Ang handbook ng Abril 2026 bilang tanging pinapayagang corpus, na may mga numero ng seksyon na hindi nabago

• Sadyang iniwan sa drive ang lumang 2023 PDF, para makita nila kung muntik nang mahuli ang retrieval

• Isang nakasulat na tuntunin: walang personal na datos ng customer sa mga tool ng consumer; walang pagpapadala nang walang tao; walang pag-imbento ng mga numero, window, o mga sugnay na "bilang pamantayan"

• Pahintulot na mag-log ng mga prompt, mga nakuhang chunks, at ang pangwakas na pagpapadala

• Isang pinangalanang may-ari (Priya) na magbibigay ng puntos sa isang test set at magpapahinto sa copilot kung ito ay mabigo, mas malala pa sa paghagis ng barya sa mga tanong tungkol sa pera

• Kung sinusuportahan ng kagamitan ang pagkuha, dapat makita ang nakuhang bahagi sa tabi ng draft. Kung hindi, ididikit nila ang bahagi gamit ang kamay. Ang pag-ground nang walang masusuring daanan ay hamog pa rin.

Halimbawang tagubilin

Inilalahad ito ni Priya sa ordinaryong wika, hindi sa isang prompt ng dula sa entablado:

Sumagot lamang mula sa mga sipi ng handbook noong Abril 2026 na ibinigay sa iyo. Sipiin ang numero ng seksyon. Kung ang sagot ay wala sa mga sipi na iyon, sabihin na "wala sa kasalukuyang handbook" at huminto. Huwag mag-imbento ng mga freeze window, mga patakaran sa refund, o mga bayarin. Huwag i-upgrade ang "ayon sa pagpapasya ng gym" sa "bilang pamantayan". Kung magkasalungat ang dalawang sipi, ipakita ang pareho at sabihin kung alin ang napapanahon. Nagdo-draft ka para sa isang tao na magbubukas ng source bago mapunta ang anumang bagay sa isang miyembro.

Pagkatapos ay nagtago siya ng pangalawang tagubilin para sa kanyang sarili, dahil ang punto ng artikulo ay ang loop, hindi ang modelo:

Bago ipadala, buksan ang binanggit na seksyon. Itanong "ano ang dahilan kung bakit ito mali?" Kung ang burador ay naglalaman ng numero na wala sa sipi, tanggihan ito. Kung nagtanong ako na parang nagmamadaling amo, magtanong muli na parang nagdududa at ikumpara.

Ganito ang hitsura ng isang mahusay na draft: "Wala sa kasalukuyang handbook (Abril 2026, seksyon 4.2). Ang mga pag-freeze ay nasa diskresyon ng gym. Ang mga refund ay hindi awtomatiko. I-escalate." Ganito ang hitsura ng isang masamang draft: "Ang mga miyembro ay maaaring mag-freeze ng 14 na araw at makatanggap ng buong refund bilang pamantayan. Kinumpirma sa handbook." Parehong tono. Isa lamang sa mga iyon ang isang patakaran.

Paano ito subukan

Sumusulat si Priya ng 20 tanong bago niya tingnan ang anumang output ng copilot. Mahalaga ang pagkakasunod-sunod na iyan. Nakakagaan ng loob ang isang demo. Ito ang dry test.

Hindi trivia ang set. Ito ay live desk:

• Walong tanong na ang mga sagot ay nasa isang kasalukuyang seksyon (ang mga madali)

• Apat na muntik nang magkamali, kung saan ang 2023 PDF ay mas malapit sa mga salita kaysa sa teksto noong Abril

• Tatlong tanong na "wala sa handbook" (mga hindi pagkakaunawaan sa pagsingil, isang katabi ng medikal na "ligtas ba ang pagsasanay na ito", isang pagbabago sa kontrata na katabi ng legal na batas)

• Tatlong tanong tungkol sa pera (pag-freeze, refund, bayad sa pagsali)

• Dalawang ordinaryong tanong para sa miyembro (oras ng pagbubukas, insurance ng tagapagsanay)

Dalawa sa dalawampung iyon ay muling tinanong suot ang pangalawang kasuotan, minsan bilang isang nagmamadaling amo at minsan bilang isang nagdududa, bilang isang pagsusuri ng sensitibidad sa prompt. Ang mga muling tanong na iyon ay naitala, hindi isinama sa 20-item na iskor.

Rubric, na binigyan ni Priya ng puntos nang bukas ang handbook: ang isang pasado ay nangangailangan ng tamang kasalukuyang tuntunin, isang totoong numero ng seksyon, at walang karagdagang imbentong sugnay. Ang tahimik na bagsak ay isang teknikal na mahusay na pangungusap na nag-alis ng eksepsiyon o ginawang dapat ang isang marahil. Ang bukas na bagsak ay isang imbentong numero o isang muntik nang hindi matupad na PDF na itinuturing na kasalukuyan. Ang uptime ay binibilang nang hiwalay, dahil ang "ito ay tumugon" ay hindi "ito ay ganoon".

Pagtanggap sa pagpapatuloy pa: sa mga usapin sa pera, mas mainam na isara ang bagsak kaysa buksan ang bagsak. Kung ang copilot ang mag-imbento ng refund window, hindi ito magda-draft ng mga live ticket. Kung walang magbubukas ng source, hindi rin ito magda-draft ng mga live ticket.

Resulta

Isang naglalarawang resulta, mula sa isang gawa-gawang pagsusulit na may 20 tanong, hindi isang nalathalang bilang ng mga Miyembro sa Daungan.

Mga Pagpapalagay: isang copilot sa helpdesk; ang handbook noong Abril 2026 kasama ang natitirang 2023 PDF; nakapuntos si Priya batay sa rubric sa itaas; ang timing ay isang stopwatch mula sa tanong na naka-paste sa "I would send this"; ang oras ng pagsusuri ay kasama sa naka-loop na kondisyon at hindi kasama sa hindi natsekan, sadyang hindi isinama, para mananatiling pantay ang paghahambing.

Hindi nasuring copilot, parang demo na prompt: 20 sa 20 tanong ang nakatanggap ng maayos na tugon (mukhang perpekto ang uptime). 11 sa 20 ang nakasunod sa rubric. Lima ang tahimik na nabigo. Apat ang bukas na nabigo, kabilang ang 14-araw na freeze. Dalawa sa apat na bukas na nabigo ay binanggit ang isang hugis-source na bahagi mula sa 2023 PDF. Ang median na oras sa isang draft na mukhang maipapadala ay 1 minuto.

Parehong 20 tanong, may limitadong instruksyon, nakita ang nakuhang bahagi: 15 sa 20 ang ganap na tama mula sa teksto noong Abril. Tatlo ang tamang nagsabi ng "wala sa kasalukuyang handbook" (ang mga aytem na katabi ng medikal at legal, kasama ang isang hindi pagkakaunawaan sa pagsingil), kaya 18 sa 20 ang katanggap-tanggap. Dalawa pa rin ang nabigo: isa ang sumulat sa muntik nang hindi naipasa na 2023 PDF, at isa ang nag-imbento ng bilang ng bayad sa pagsali na wala sa sipi. Ang median na oras para sa draft ay mga 1 minuto pa rin.

Parehong 20, kasama ang pagbubukas ni Priya ng binanggit na seksyon bago ang isang kunwaring pagpapadala: 19 sa 20 ay katanggap-tanggap sana. Nahuli niya ang muntik nang hindi masagot na PDF. Ang natitirang hindi masagot ay ang mabilis na pagbasa ng reviewer ng isang matatas na talata at hindi napansin ang imbentudong bilang ng bayad sa pagsali. Ang median na oras, kasama na ang pagsusuri, ay 3 minuto.

Lumang proseso, paghahanap sa handbook lamang, walang copilot: 20 sa 20 katanggap-tanggap. Median 9 na minuto.

Sa sample na ito, ang looped copilot ay 6 na minutong mas mabilis kaysa sa handbook hunt (9 minus 3), o 120 minuto sa 20 tanong, kung saan 19 sa 20 ang katanggap-tanggap sa halip na 20 sa 20. Ang unchecked copilot ay 8 minutong mas mabilis (9 minus 1) at mali, mahina man o malakas, sa 9 sa 20. Hindi ito 67% na nakakatipid sa oras na ginugol mo sa isang steering pack. Ito ay isang 9-miss leak na sana ay awtomatiko mo na.

Ang mga bersyon ng nagmamadaling pag-uusig sa dalawang paulit-ulit na tanong ay parehong umangkin nang labis. Ang mga bersyon ng nagdududa ay tumanggi. Parehong modelo, parehong handbook, magkaibang kasuotan. Itinala iyon ni Priya bilang isang natuklasan, hindi bilang isang personalidad.

Ang mga bilang na ito ay isang halimbawang pagtatantya batay sa nakasaad na pagsubok, isang maliit na set, mga tiket na mas madali kaysa sa isang galit na miyembro, at isang tagasuri na alam na ang libro. Hindi nila ipinapakita na ang copilot ay "95% maaasahan", o na dapat magtanggal ang Harbour ng isang tao sa desk. Ipinapakita nila na ang uptime ay hindi ang tanong, at ang pagsusuri ay tanong.

Ano ang maaaring magkamali

• Binanggit ng pamunuan ang 1-minutong oras sa draft at nilaktawan ang 9 na misses. Ang bilis ay parang kayang-kaya pa rin kahit alas-4 ng hapon.

• Nananatili sa index ang 2023 PDF. Patuloy itong kinukuha ng retrieval. Mukhang matanda na ang grounding at muntik pa ring hindi gumana.

• Itinatago ng UI ang nakuhang bahagi sa likod ng isang makintab na send button. Tumitigil ang mga tao sa pagbukas ng handbook, kaya naman nakakarating ang sagot sa freeze sa isang miyembro.

• Walong madadaling tanong lang ang nakuha ni Priya dahil mas maganda ang dating ng mga ito sa isang slide. Evaluation theater, gamit lang ang spreadsheet.

• Ang sagot na "ligtas ba ang pagsasanay na ito" na katabi ng medikal ay pinapayagang magmukhang isang maikling salita. Halos hindi kailanman ang nakasaad sa mapa. Ang tono naman ay nagsasabing sige.

• Naka-off ang mga log dahil "parang dagdag na lang." Matapos ang isang hindi pag-log, walang makakakita kung aling sipi ang nakuha.

• Tinatanong nila ang modelo kung sigurado ba ito. Oo. Hindi iyon ang pagsubok.

Praktikal na takeaway

Ang pagiging maaasahan ay hindi katangian ng copilot na binili ng Harbour. Ito ay isang katangian ng 20 tanong, isang kasalukuyang handbook, isang nakikitang sipi, at isang taong nagbubukas pa rin ng mapagkukunan kahit na may kinalaman sa pera. Ang kahusayan ay patuloy na makakapasa sa uptime test. Ang loop lamang ang bagay na makakapasa sa policy test.

Mga Madalas Itanong

Ano nga ba ang ibig sabihin ng maaasahan (reliable) para sa generative AI?

Ang pang-araw-araw na pagiging maaasahan ay nangangahulugang maaari kang umasa sa isang bagay. Sa pamamagitan ng automation na nagsasalita, ang isang buong kumpol ng mga katangian ay nagtatago sa ilalim ng isang salita: factuality, consistency, calibration, safety, uptime, prompt sensitivity, edge case, at behavior pagkatapos ng distribution shift. Wala sa mga iyon ang magkakasamang nabibigo. Ang live test ay maaasahan sa ano, para kanino, at alin na may kasamang loop sa paligid nito. Kung hindi, minamarkahan mo ang isang blender kung kaya nitong magbayad ng buwis.

Maaasahan ba ang AI?

Hindi bilang isang katangian. Ang isang LLM ay maaaring maging matibay sa isang trabaho at tahimik na magulo sa susunod, minsan sa parehong pagkakataon, minsan dahil naglipat ka ng kuwit. Ang pagiging maaasahan ay isang katangian ng isang gawain, isang dataset, isang retrieval loop, isang ebalwasyon na hindi isang demo, at isang tao na kailangan pa ring maging seryoso. Gamitin ito kung saan ang isang pagkakamali ay mura o madaling mahuli. Dahan-dahanin kung saan ang isang pagkakamali ay mahal.

Pareho ba ang AI uptime at ang pagiging totoo?

Hindi. Ang uptime ay kung nasagot na ang endpoint. Ang katotohanan ay kung tama nga ang sagot. Maaari kang magkaroon ng serbisyong hindi kumukurap at nagpapadala pa rin ng maayos na kasinungalingan sa customer. Ang bilis ay parang kakayahan kapag ang pila ay isang halimaw. Ang kaligtasan ay isa pang axis: ang isang modelo na tumatanggi sa jailbreak ay maaari pa ring masira ang buod ng iyong sariling mga tala.

Bakit parang mapagkakatiwalaan ang matatas na AI kahit na ito ay mali?

Naghiwalay ang katumpakan at kahusayan, at ang kahusayan ang nagpanatili sa kaayusan. Ang isang LLM ay magbibigay sa iyo ng ritmo, hedging, marahil isang pekeng-ngunit-magandang hugis ng pagsipi, at mababasa ng iyong utak na "alam ng taong ito." Ang kalibrasyon ay kadalasang napakasama: mataas na kumpiyansa, katamtamang katotohanan, na inihahatid na parang isang keynote. Ang isang malamya at maling sagot ay nagpapahinala sa iyo. Ang isang mahusay at maling sagot ay nagpapahinto sa iyo sa pagsuri. Kung ito ay nagsasalita na parang isang maikling pahayag, tinatrato natin ito na parang isang maikling pahayag, at ganoon na lamang ang pagkakamali.

Maaasahan ba ang AI para sa medikal, legal, o gawaing suporta sa customer?

Depende ito sa trabaho, hindi sa brand. Ang medikal at legal na payo ay halos hindi sapat bilang isang produkto: ang modelo ay isang stub at ang tao ay ang propesyonal. Ang customer support ay maaaring magbalangkas sa loob ng isang mahigpit na polisiya, ngunit dapat tanggapin ng isang tao ang pagpapadala ng pera at tiwala, dahil ang mga imbentong polisiya at isang magalang na maling hindi ay karaniwang mga pagkabigo. Ang mga draft at buod ay mga unang teksto na alam mo na. Suriin ang mga pangalan, numero, at ang linya na maaaring makasakit sa iyo.

Bakit nagha-hallucinate, naaanod, o tahimik na nagkakamali ang AI?

Ang halusinasyon ay ang maanghang na pagkukulang: isang librong hindi umiiral, isang tungkuling hindi kailanman naipadala, isang sugnay ng patakaran na may numerong tila opisyal. Ang pag-anod ay hindi gaanong sinematiko: gumagalaw ang mundo, nananatili ang mga natira ng modelo, at nakakakuha ka ng maayos na sagot mula sa nakaraang panahon. Ang tahimik na pagkakamali ay isang buod na nag-aalis ng eksepsiyon. O isang paraphrase na nag-a-upgrade ng isang marahil tungo sa isang dapat. Ang katotohanan ay maaaring magmukhang teknikal na maayos habang ang kahulugan ay nababawasan. Ang agarang sensitibidad ay nagpapakinang sa mga katotohanan kapag binago mo ang pagbabalot.

Ginagawa bang maaasahan ng grounding o retrieval ang AI?

Ang grounding ay nangangahulugang sagot mula rito, hindi mula sa hamog. Ang retrieval ay nagtutulak sa kasalukuyan papunta sa isang sinanay na bunton. Kapag nabigo ito, magalang itong nabigo: isang muntik nang mabigo na dokumento, isang nakasulat na artikulo, at ang iyong instinct sa pag-check ay nagtatapos. Ang grounding ay isang lupa, hindi isang halo. Kung hindi mo masuri ang nakuha na bahagi, nasa hamog ka pa rin, ngunit may mas mahusay na pag-iilaw. Pagsamahin ang mga live-state na gawain tulad ng mga presyo o mga salita ng patakaran na may matatag na sasakyan, at makakakuha ka ng isang napakatiyak na sagot tungkol sa isang mundong gumalaw na.

Bakit masamang pagsubok sa pagiging maaasahan ng AI ang isang demo?

Ang isang malinis na prompt at isang gawain na nakita ng isang libong pinsan ng modelo ay magmumukhang matalas. Ang mga live na daloy ng trabaho ay may gusot na pag-paste, nawawalang mga file, at isang user na tatanggap ng unang sagot na magbabawas sa kanilang pagkabalisa. Ang iskor sa leaderboard ay hindi calibration sa iyong mga tiket. Ang panganib ng modelo ay ang nangyayari kapag mali ito sa volume, hindi kung nakapasa ito sa isang trivia set. Ang mga pagsubok na kailangan mo ay tuyo: manatili sa loob ng nakuha na sipi, i-flag ang kawalan ng katiyakan sa halip na magbluffy, manatiling pare-pareho kapag nag-rephrase ka, at bumagsak nang sarado sa halip na mag-imbento.

Maaasahan ba ang AI kung walang sinuman ang nasa panganib?

Hindi. Kung walang mananagot, gagamitin ang sistema na parang gagamitin. Ang Human-in-the-loop lang ang disenyo na tumutugma sa mga failure mode: sino ang magrerepaso, sino ang maaaring pumigil dito, ano ang naitatala, ano ang mangyayari pagkatapos ng isang pagkakamali. Kung ang sagot ay "ang modelo," wala kang sagot. Hindi pumupunta ang mga modelo sa pulong pagkatapos ng insidente. Para sa medisina, batas, kredito, o mga operasyong kritikal sa kaligtasan, ang tao ang loop at ang modelo ay isang stub.

Paano ko ipo-prompt ang AI para mahuli ko ang mga pagkakamali?

Itanong kung sadya ang kawalan ng katiyakan: "Ano ang magpapamali dito?" kaysa sa "gawin itong may kumpiyansa." Hatiin ang pagkuha mula sa henerasyon kung kaya mo. Tingnan muna ang mga sipi, pagkatapos ay itanong ang isinulat. Baguhin ang kasuotan: baguhin ang parirala, o hilingin dito na makipagtalo sa kabaligtaran. Pilitin ang mga limitasyon tulad ng "mula lamang sa tekstong aking idinikit" o "kung kulang, sabihin nating kulang," at suriin pa rin. Mas gusto ang mga gawain na may tagapagpatunay, at bantayan ang dagdag na detalye, dahil doon gustong magbihis ang halusinasyon.

Mga Sanggunian

1. NIST - nvlpubs.nist.gov

2. NIST - airc.nist.gov

3. NIST - airc.nist.gov

4. ICO - ico.org.uk

5. NCSC - www.ncsc.gov.uk

6. NCSC - www.ncsc.gov.uk

7. OWASP - genai.owasp.org

Hanapin ang Pinakabagong AI sa Opisyal na Tindahan ng AI Assistant

Tungkol sa Amin