โมเดลภาษาขนาดใหญ่ อธิบาย
โมเดลภาษาขนาดใหญ่ มักเรียกสั้นๆ ว่า LLM อยู่เบื้องหลังเครื่องมือ AI หลายประเภท ไม่ว่าจะเป็นการเขียน การตอบคำถาม และการสนทนา โมเดลเหล่านี้เปลี่ยนข้อความเป็น token และ ทำงานกับความสัมพันธ์ระหว่าง token เหล่านั้น
โมเดลภาษาขนาดใหญ่คือโมเดลการเรียนรู้เชิงลึกที่ผ่านการฝึกด้วยข้อมูลจำนวนมาก เพื่อให้สามารถเข้าใจคำสั่งและสร้างภาษาธรรมชาติและเนื้อหาอื่นๆ ได้
LLM ทำนาย token ถัดไป
LLM ไม่ได้เตรียมคำตอบที่สมบูรณ์ก่อนเริ่มเขียน แต่จะทำนาย token หนึ่งตัว เพิ่ม token นั้นเข้าไปในลำดับ และทำซ้ำกระบวนการนี้
การทำนายอาศัยรูปแบบที่เรียนรู้ระหว่างการฝึกและเนื้อหาใน คำสั่งปัจจุบัน กระบวนการนี้สามารถสร้างคำตอบที่ลื่นไหลได้โดยไม่รับประกัน ว่าแต่ละข้อความจะเป็นความจริง
แอปพลิเคชันโดยรอบเพิ่มการควบคุม
โมเดลเป็นเพียงส่วนหนึ่งของแอปพลิเคชัน AI แอปพลิเคชันสามารถเพิ่ม คำสั่ง จัดหาเอกสารธุรกิจ จำกัดการกระทำที่เป็นไปได้ หรือขอให้ บุคคลอนุมัติผลลัพธ์
การควบคุมเหล่านี้เปลี่ยนแปลงข้อมูลที่โมเดลได้รับและสิ่งที่สามารถเกิดขึ้นได้ หลังจากที่มันตอบกลับ แต่ไม่ได้เปลี่ยนแปลงกระบวนการ next-token พื้นฐานภายใน โมเดล
คำศัพท์เกี่ยวกับโมเดลภาษาขนาดใหญ่
- Token
- หน่วยของข้อความ เช่น คำ ส่วนของคำ หรือเครื่องหมายวรรคตอน ที่โมเดลประมวลผล
- Transformer
- สถาปัตยกรรมโครงข่ายประสาทเทียมที่ช่วยให้โมเดลติดตามความสัมพันธ์ในลำดับของข้อความ
- Inference
- กระบวนการใช้โมเดลที่ผ่านการฝึกแล้วเพื่อสร้างคำตอบจากคำสั่งใหม่
สิ่งที่กำหนดรูปแบบการตอบกลับของ LLM
คำสั่ง
คำสั่งและบริบทปัจจุบันบอกโมเดลว่าควรพยายามตอบกลับอย่างไร
การฝึก
รูปแบบที่เรียนรู้จากข้อมูลการฝึกกำหนดคำที่โมเดลทำนาย
ขีดจำกัดบริบท
โมเดลสามารถพิจารณาได้เฉพาะเนื้อหาที่พอดีกับหน้าต่างบริบท
คำถามเกี่ยวกับโมเดลภาษาขนาดใหญ่
มันประมวลผลคำสั่งและสร้างลำดับของ token ซึ่งรองรับงานต่างๆ เช่น การร่าง การสรุป การจำแนกข้อความ และการตอบคำถาม
LLM ใช้ความสัมพันธ์ทางสถิติที่เรียนรู้จากข้อมูล ภาษาที่ลื่นไหล ไม่ได้พิสูจน์ความเข้าใจแบบมนุษย์หรือความรู้ที่เป็นข้อเท็จจริง
มันทำนายข้อความที่น่าจะเป็นไปได้มากกว่าการตรวจสอบทุกข้อความกับแหล่งข้อมูล แอปพลิเคชันสามารถเพิ่มข้อมูลที่เชื่อถือได้และขั้นตอนการตรวจสอบเพื่อลดความเสี่ยงนั้น
คำศัพท์ที่เกี่ยวข้องในอภิธานศัพท์
นำภาษาที่เข้าใจง่ายมาใช้งาน
แอป Caffeine รันบน Internet Computer เครือข่ายสาธารณะที่สร้างมาเพื่อสิ่งนี้โดยเฉพาะ