Hekate Academy

Hekate Academy Bệ phóng AI quốc tế cho người Việt

CÁC PHƯƠNG PHÁP TỐI ƯU SUY LUẬN CỦA LLMKhi các mô hình AI ngày càng phức tạp, việc tối ưu hóa trở nên quan trọng hơn bao...
04/03/2025

CÁC PHƯƠNG PHÁP TỐI ƯU SUY LUẬN CỦA LLM

Khi các mô hình AI ngày càng phức tạp, việc tối ưu hóa trở nên quan trọng hơn bao giờ hết. Có nhiều kỹ thuật giúp giảm bộ nhớ, tăng suy luận và mở rộng quy mô mô hình mà không làm giảm độ chính xác. Đó là model parallelization như pipeline parallelism và tensor parallelism, hoặc phương pháp tối ưu hóa mô hình như quantization, sparsity và distillation.

Mỗi kỹ thuật đều có ưu và nhược điểm riêng, tùy vào yêu cầu cụ thể của mô hình và hệ thống phần cứng. Hãy cùng khám phá từng phương pháp qua các hình ảnh dưới đây để hiểu rõ hơn về cách tối ưu hóa LLM nhé.

---------------------------------
Hekate Academy – Bệ phóng AI quốc tế cho người Việt

TÀI LIỆU VỀ GROK 3Ngày 18/02, xAI đã chính thức công bố Grok 3. Grok 3 được huấn luyện trên hơn 200.000 GPU NVIDIA H100,...
24/02/2025

TÀI LIỆU VỀ GROK 3

Ngày 18/02, xAI đã chính thức công bố Grok 3. Grok 3 được huấn luyện trên hơn 200.000 GPU NVIDIA H100, mang lại hiệu suất vượt trội hơn so với GPT-4o và DeepSeek-V3. Grok 3 có mức độ kiểm duyệt thấp, giúp đưa ra quan điểm sáng tạo, kể cả các vấn đề nhạy cảm.

Với 2 chế độ suy luận "Think" và "Big Brain", Grok 3 có khả năng xử lý tốt cả những tác vụ truy vấn đơn giản hay các bài toán phức tạp. Những điểm nổi bật của Grok 3 gồm:
👍 Tính năng DeepSearch, tìm kiếm theo thời gian thực và trình bày thông tin logic
👍 Self-Correction, Reinforcement Learning, Contextual Training, giúp tối ưu độ chính xác của câu trả lời

Chúng tôi gửi bạn file tài liệu chi tiết về công nghệ của Grok 3, so sánh các phiên bản, phân tích performance & benchmark,… Nhận tài liệu dưới comment nhé!

---------------------------------
Hekate Academy – Bệ phóng AI quốc tế cho người Việt

GIVEAWAY CODE DOCKERNhóm cộng đồng “Build with AI” bởi Hekate Academy chính thức được ra mắt. Chúng tôi mong muốn kết nố...
18/02/2025

GIVEAWAY CODE DOCKER

Nhóm cộng đồng “Build with AI” bởi Hekate Academy chính thức được ra mắt. Chúng tôi mong muốn kết nối những người yêu thích AI, từ sinh viên, lập trình viên đến chuyên gia, cùng học hỏi và ứng dụng AI.

Nhằm tri ân những thành viên đầu tiên, chúng tôi muốn gửi tặng CODE DOCKER độc quyền. Bộ source này dành cho trợ lý ảo thực hiện các tác vụ:
👉 Trả lời thông tin từ tài liệu bằng giọng nói/ văn bản sử dụng Gemini 2.0
👉 Đánh giá ứng viên tiền năng sử dụng LlamMa 3.3 (finetuned)
👉 Giải toán cấp 3 sử dụng DeepSeek-R1 (finetuned)

Cách thức:
1. Tham gia vào nhóm cộng đồng “Build with AI”
2. Tag 03 người bạn tại bài viết Give away trong nhóm cộng đồng
3. Hekate Academy sẽ chủ động nhắn tin gửi bạn source code

Give Away sẽ kéo dài đến hết ngày 28/02/2025. Hãy nhanh tay tham gia và theo dõi những thông tin hữu ích tại nhóm cộng đồng "Build with AI" nhé.

---------------------------------
Hekate Academy – Bệ phóng AI quốc tế cho người Việt

KỸ THUẬT PROMPTING - TỔNG QUAN TỪ BÀI BÁO HỌC THUẬT🌟 Prompt Engineering là quá trình tạo và cải tiến các prompt để đảm b...
21/01/2025

KỸ THUẬT PROMPTING - TỔNG QUAN TỪ BÀI BÁO HỌC THUẬT

🌟 Prompt Engineering là quá trình tạo và cải tiến các prompt để đảm bảo mô hình AI tạo ra nội dung có ý nghĩa. Người dùng chọn định dạng, từ ngữ và bối cảnh giúp AI tương tác một cách chính xác hơn. Nhà nghiên cứu sử dụng Prompt Engineering để cải thiện phản hồi của LLM trong các tác vụ từ trả lời câu hỏi đơn giản đến suy luận phức tạp hoặc toán học. Lập trình viên sử dụng kỹ thuật này để tạo ra các Prompt tương tác hiệu quả với cả LLM và các công cụ bên ngoài.

🎯 Prompt Engineering mang lại nhiều lợi ích quan trọng. Nó giúp cải thiện độ chính xác của AI, giảm thiểu khả năng hiểu sai hoặc đưa ra câu trả lời không liên quan. Kỹ thuật Prompt cũng tiết kiệm thời gian cho người dùng. Cuối cùng, khi các Prompt được thiết kế rõ ràng tạo ra những phản hồi dễ hiểu và chính xác, trải nghiệmngười dùng với hệ thống AI sẽ được nâng cao.

🔥 Một số kỹ thuật Prompt cơ bản và nâng cao bao gồm:
📍 Shot-Based Prompting (Few-shot Prompting, One-shot Prompting, Zero-shot Prompting)
📍 Chain-of-Thought Prompting
📍 Generated Knowledge Prompting
📍 Tree of Thoughts
📍 Multimodal CoT Prompting
📍 Graph Prompting.

👇 Tìm hiểu chi tiết hơn về mỗi kỹ thuật qua các hình bên dưới.
---------------------------------
Hekate Academy – Bệ phóng AI quốc tế cho người Việt

RLHF - TỔNG QUAN, ỨNG DỤNG & CODE DEMO✨ Reinforcement Learning from Human Feedback (RLHF) là một biến thể của học tăng c...
16/01/2025

RLHF - TỔNG QUAN, ỨNG DỤNG & CODE DEMO

✨ Reinforcement Learning from Human Feedback (RLHF) là một biến thể của học tăng cường (RL). RLHF được thiết kế dựa vào Reward Model thông qua phản hồi từ con người. Năm 2022, OpenAI công bố bài báo “Training Language Models to Follow Instructions with Human Feedback” mở rộng ứng dụng RLHF trong InstructGPT.

💫 Mục tiêu của Inverse Reinforcement Learning là tìm ra Reward Model mà agent đang tối ưu hóa thông quan sát hành vi. Vấn đề của phương pháp này là mô hình thường không nhận diện phần thưởng chính xác. RLHF giúp cải thiện alignment giữa agent và con người. Ngoài ra, phản hồi từ con người kết hợp với hành vi của demonstrator giúp tăng khả năng học và ngăn ngừa overfitting.

👇 Đọc thêm tổng quan mô hình RLHF, ứng dụng và so sánh với mô hình SFT bên dưới.

---------------------------------

Hekate Academy – Bệ phóng AI quốc tế cho người Việt

"ATTENTION IS ALL YOU NEED" - CƠ CHẾ VÀ ỨNG DỤNG🌟 Attention do Bahdanau giới thiệu lần đầu vào năm 2015 đã trở thành bướ...
14/01/2025

"ATTENTION IS ALL YOU NEED" - CƠ CHẾ VÀ ỨNG DỤNG

🌟 Attention do Bahdanau giới thiệu lần đầu vào năm 2015 đã trở thành bước tiến mới trong lĩnh vực Deep Learning và AI. Attention hoạt động bằng cách tập trung vào các đặc trưng quan trọng nhất, từ đó xử lý chuỗi tốt hơn so với mô hình Sequence-to-Sequence bởi RNN. Cụ thể, thay vì chỉ có một vector trạng thái ẩn cuối cùng để tạo ra vector biểu diễn cho Decoder, cơ chế Attention sử dụng một vector context tương tác với toàn bộ vector trạng thái ẩn của Encoder.

✨ Thành phần của Attention gồm ma trận truy vấn (Q - Queries), ma trận khóa (K - Keys), ma trận giá trị (V - Values). Dot-Product Attention là cơ chế cơ bản nhất, tính toán mối quan hệ giữa Query (Q) và Key (K) dựa trên tích vô hướng. Nhược điểm lớn nhất của Dot-Product Attention là gradient vanishing nếu kích thước vector K lớn dẫn đến giá trị dot product giữa vector Q và vector K có thể tăng lên rất lớn.

Đọc thêm về Scaled Dot-Product Attention, Multi-Head Attention, ứng dụng của Attention, so sánh giữa Attention và RNN/LSTM bên dưới.

---------------------------------

Hekate Academy – Bệ phóng AI quốc tế cho người Việt

GEMINI 2.0 FLASH - CẢI TIẾN KỸ THUẬT VÀ CODE DEMO🎉 Gemini 2.0 Flash, LLM do Google ra mắt vào tháng 12/2024, là mô hình ...
11/01/2025

GEMINI 2.0 FLASH - CẢI TIẾN KỸ THUẬT VÀ CODE DEMO

🎉 Gemini 2.0 Flash, LLM do Google ra mắt vào tháng 12/2024, là mô hình đột phá mở đầu kỷ nguyên mới của agentic AI. So với Gemini 1.5 Flash và Gemini 1.5 Pro, phiên bản này đã chứng minh khả năng vượt trội từ viết code, giải toán, lý luận,... với tốc độ nhanh hơn gấp 2 lần. Bên cạnh dữ liệu đầu vào đa phương thức, Gemini 2.0 Flash còn hỗ trợ dữ liệu đầu ra đa phương thức như ảnh tạo sinh kết hợp văn bản, text-to-speech đa ngôn ngữ.

✨ Về kiến trúc, Cross-Modal Attention được thay cho Self-Attention để giải quyết các tác vụ như Visual Question Answering hay nhận diện hành động trong video. Trong khi đó, Google còn cải tiến Positional Encoding để giữ tính nhất quán của dữ liệu trong chuỗi. Khung JAX/XLA và TPU Trillium thế hệ thứ 6 cũng được tận dụng để đạt hiệu suất tính toán cao và xử lý dữ liệu lớn, đa phương thức. Kỹ thuật Multimodal Chain-of-Thought và Long Context Understanding giúp cho Gemini 2.0 có khả năng suy luận đa phương thức và xử lý ngữ cảnh dài.

🎯 Gemini 2.0 Flash là mô hình có thể thực hiện các tác vụ tự động, ra quyết định chủ động, gọi được các công cụ của Google và live API đa phương thức. Một số dự án nổi bật với Gemini 2.0 Flash gồm:
👉 Project Astra: Trợ lý AI đa năng có khả năng phản hồi hình ảnh và các lệnh bằng giọng nói
👉 Project Mariner: Tiện ích mở rộng trên trình duyệt Chrome, cho phép AI tự động thao tác và tìm kiếm thông tin
👉 Jules: Agent hỗ trợ các nhà phát triển lập trình hiệu quả hơn
👉 Agent trong game: Agent trợ giúp người chơi khám phá thế giới ảo trong game và hỗ trợ trong thế giới thực thông qua robotics

Đọc thêm thông tin khác và code demo của Gemini 2.0 Flash ở các ảnh bên dưới.

---------------------------------

Hekate Academy – Bệ phóng AI quốc tế cho người Việt

“ĐẤU TRƯỜNG” XẾP HẠNG LLM & AI CHATBOT TỐT NHẤT HIỆN NAY✨ Ra mắt từ tháng 4/2023, Chatbot Arena đã trở thành sân chơi củ...
08/01/2025

“ĐẤU TRƯỜNG” XẾP HẠNG LLM & AI CHATBOT TỐT NHẤT HIỆN NAY

✨ Ra mắt từ tháng 4/2023, Chatbot Arena đã trở thành sân chơi của nhiều mô hình AI tiên tiến như Gemini, GPT, Claude,… Thay vì dựa trên các tập dữ liệu định nghĩa sẵn, nền tảng mã nguồn mở này đánh giá hiệu suất các mô hình AI thông qua phản hồi của người dùng.

🎯 Với tập dữ liệu LMSYS-Chat-1M gồm 1.000.000 đoạn hội thoại, Chatbot Arena áp dụng mô hình Bradley-Terry để xây dựng bảng xếp hạng. Ban đầu, nhóm nghiên cứu chỉ lấy thông tin từ các chuyên gia, 25 mô hình benchmark đầu tiên, tập dữ liệu nhóm phát triển hoặc để các mô hình LLM đánh giá lẫn nhau để đưa ra những thứ hạng cơ bản. Sau đó, nhóm thực hiện phân tích xác suất thống kê từ tập dữ liệu đã bổ sung đánh giá giá của người dùng đối với một cặp mô hình ẩn danh.

🏆 Quá trình này lặp đi lặp lại để phản ánh thứ hạng các mô hình LLM trên bảng xếp hạng của Chatbot Arena. Nhóm nghiên cứu thường thu thập khoảng 8000 lựa chọn cho mỗi mô hình trước khi cập nhật bảng xếp hạng.

Đọc thêm phương pháp luận và kết quả của Chatbot Arena trong từng ảnh bên dưới.

---------------------------------

Hekate Academy – Bệ phóng AI quốc tế cho người Việt

💌 AI SUMMER CAMP 2024 REGISTRATION OFFICIALLY CLOSED 💌(Tiếng Việt bên dưới)---------------------------------🌞 The select...
01/08/2024

💌 AI SUMMER CAMP 2024 REGISTRATION OFFICIALLY CLOSED 💌
(Tiếng Việt bên dưới)
---------------------------------
🌞 The selection journey for 𝐀𝐈 𝐒𝐮𝐦𝐦𝐞𝐫 𝐂𝐚𝐦𝐩 𝟐𝟎𝟐𝟒 has officially come to an end. The Organizing Committee is overjoyed by the overwhelming response from passionate AI students.

🥳 Congratulations to the outstanding participants who have successfully secured their spots at AI Summer Camp 2024. Your perseverance and dedication have paid off. Continue to harness your strengths and excel at this year's Summer Camp!

💖 To those who were not as fortunate this time, we deeply value your aspiration for self-improvement. Use this as motivation to enhance your skills and return as an even more impressive candidate at a future AI Summer Camp!

💙 The preliminary round has concluded, but the journey of learning and discovery is just beginning! Join us in counting down and preparing for AI Summer Camp 2024 – where AI dreams soar higher and further than ever! ✈️
-----------------------------------------------
💌 CHÍNH THỨC ĐÓNG ĐƠN ĐĂNG KÝ AI SUMMER CAMP 2024 💌

🌞 Vậy là hành trình tuyển chọn 𝐀𝐈 𝐒𝐮𝐦𝐦𝐞𝐫 𝐂𝐚𝐦𝐩 𝟐𝟎𝟐𝟒 đã chính thức khép lại. Ban Tổ chức vô cùng hạnh phúc khi nhận được sự đón nhận của đông đảo sinh viên đam mê AI.

🥳 Xin chúc mừng các trại sinh xuất sắc đã vượt qua rất nhiều ứng viên sáng giá để chính thức ghi danh vào AI Summer Camp 2024. Nỗ lực và kiên trì của các bạn đã được đền đáp. Hãy tiếp tục phát huy sức mạnh và thể hiện thật tốt tại Trại hè năm nay!

💖 Gửi đến những ứng cử viên chưa may mắn, chúng tôi rất trân trọng mong muốn phát triển bản thân của các bạn. Hãy xem đây là động lực để hoàn thiện bản thân hơn nữa và quay trở lại với phiên bản xuất sắc hơn tại AI Summer Camp trong tương lai gần nhé!

💙 Vòng sơ tuyển đã kết thúc, nhưng hành trình học hỏi và khám phá chỉ mới bắt đầu! Hãy cùng chúng mình đếm ngược và chuẩn bị cho AI Summer Camp 2024 – nơi những giấc mơ AI bay cao và xa hơn bao giờ hết! ✈️


---------------------------------
🏕️ 𝐀𝐈 𝐒𝐮𝐦𝐦𝐞𝐫 𝐂𝐚𝐦𝐩 𝟐𝟎𝟐𝟒 - 𝐄𝐲𝐞𝐬 𝐨𝐧 𝐭𝐡𝐞 𝐖𝐨𝐫𝐥𝐝 👁️‍🗨️
🎯 As the first international AI camp in Da Nang, AI Summer Camp (AISC) proudly serves as the ideal "gateway" for tech enthusiasts. AISC is committed to providing an engaging, in-depth, and industry-relevant learning experience, enabling participants to unlock their full potential and thrive in their AI careers.
🌐 Website: academy.hekate.ai/
☎️ Hotline: (+84) 968 555 825

30/07/2024

🧑‍💻 𝑰𝑻 𝒌𝒉𝒐̂𝒏𝒈 𝒄𝒉𝒊̉ 𝒄𝒐́ 𝒎𝒐̂̃𝒊 𝒍𝒂̣̂𝒑 𝒕𝒓𝒊̀𝒏𝒉: 𝑽𝒊̀ 𝒔𝒂𝒐 𝑪𝒐𝒎𝒑𝒖𝒕𝒆𝒓 𝑽𝒊𝒔𝒊𝒐𝒏 𝒍𝒂̣𝒊 𝒍𝒂̀ “𝒎𝒐̉ 𝒗𝒂̀𝒏𝒈” 𝒄𝒉𝒐 𝒔𝒖̛̣ 𝒏𝒈𝒉𝒊𝒆̣̂𝒑 𝒄𝒖̉𝒂 𝒃𝒂̣𝒏? 💥
(English below)
---------------------------------
😟 Bạn có từng lo sợ khi IT đang trở thành “vua của mọi nghề”? Giữa một rừng lập trình viên, bạn không biết làm thế nào để trở nên thật nổi bật và tìm được con đường phát triển riêng cho mình?

Câu trả lời có thể nằm ở những ngách tiềm năng trong ngành IT, và 𝐂𝐨𝐦𝐩𝐮𝐭𝐞𝐫 𝐕𝐢𝐬𝐢𝐨𝐧 (CV) chính là một trong số đó!

📈 Vì sao Computer Vision ngày càng được săn đón?
◾ Computer Vision, một nhánh của AI, đang thay đổi cách chúng ta tương tác với thế giới số.
◾ Từ nhận diện khuôn mặt, phân loại hình ảnh, đến xe tự lái, ứng dụng của Computer Vision đang lan rộng với tốc độ chưa từng thấy.
◾ Theo một báo cáo khác từ MarketsandMarkets, thị trường này có thể đạt 48.6 tỷ USD vào năm 2030, với tốc độ tăng trưởng hàng năm kép (CAGR) là 7.6% từ năm 2020 đến 2030. Điều này chứng tỏ rằng Computer Vision không chỉ là xu hướng tạm thời mà là một lĩnh vực có tiềm năng phát triển lâu dài.

📈 Làm sao để chắc chắn rằng Computer Vision có dành cho mình hay không?
◾ Để biết chắc rằng Computer Vision có phù hợp với bạn hay không, cách tốt nhất là thử học thật sâu về nó! Hãy bắt đầu bằng việc tìm kiếm những khóa học hay trại hè uy tín, nơi bạn có thể được học bài bản và đúng đắn ngay từ đầu!
◾ AI Summer Camp của Hekate Academy chắc chắn sẽ là môi trường đầy hứa hẹn để bạn có thể phát triển toàn diện: từ lý thuyết đến thực tế nhờ vào sự đầu tư chỉn chu từ giáo án, giảng viên, cơ sở lớp học,...

⌛ Chỉ còn ít ngày nữa thôi, 𝐀𝐈 𝐒𝐮𝐦𝐦𝐞𝐫 𝐂𝐚𝐦𝐩 𝟐𝟎𝟐𝟒 sẽ chính thức đóng đơn đăng ký. Bạn có muốn tên của mình được xuất hiện trên bảng vàng các trại sinh chính thức của Trại hè AI năm nay? Hãy tạo cơ hội cho chính bản thân bằng cách đăng ký ngay tại link dưới phần comment!
-----------------------------------------------
🧑‍💻 𝑰𝑻 𝒊𝒔 𝒏𝒐𝒕 𝒔𝒊𝒎𝒑𝒍𝒚 𝒂𝒃𝒐𝒖𝒕 𝒄𝒐𝒅𝒊𝒏𝒈: 𝑾𝒉𝒚 𝒊𝒔 𝑪𝒐𝒎𝒑𝒖𝒕𝒆𝒓 𝑽𝒊𝒔𝒊𝒐𝒏 𝒕𝒉𝒆 “𝒈𝒐𝒍𝒅 𝒎𝒊𝒏𝒆” 𝒇𝒐𝒓 𝒚𝒐𝒖𝒓 𝒄𝒂𝒓𝒆𝒆𝒓? 💥

😟 Have you ever felt apprehensive about IT becoming the "monarch of all professions"? In an ocean of programmers, do you find it challenging to distinguish yourself and carve out a unique development trajectory?

The solution may reside in the promising niches within the IT sector, and 𝐂𝐨𝐦𝐩𝐮𝐭𝐞𝐫 𝐕𝐢𝐬𝐢𝐨𝐧 (CV) is a prime example!

📈 Why is Computer Vision increasingly coveted?
◾ Computer Vision, a subdivision of AI, is revolutionizing the way we engage with the digital realm.
◾ From facial recognition and image classification to autonomous vehicles, the applications of Computer Vision are proliferating at an unprecedented pace.
◾ According to a report by MarketsandMarkets, this market is projected to reach USD 48.6 billion by 2030, with a compound annual growth rate (CAGR) of 7.6% from 2020 to 2030. This demonstrates that Computer Vision is not merely a transient trend but a domain with substantial long-term growth potential.

📈 How can you ascertain that Computer Vision is the right path for you?
◾ To determine if Computer Vision aligns with your interests, the most effective approach is to delve deeply into its study! Initiate your journey by seeking out prestigious courses or summer camps where you can receive a structured and thorough education from the outset.
◾ The AI Summer Camp at Hekate Academy is undoubtedly a promising environment for holistic development: from theoretical foundations to practical applications, supported by meticulously crafted curricula, experienced instructors, and state-of-the-art classroom facilities.

⌛ With only a few days remaining, 𝐀𝐈 𝐒𝐮𝐦𝐦𝐞𝐫 𝐂𝐚𝐦𝐩 𝟐𝟎𝟐𝟒 will soon close its registration. Do you aspire to have your name listed among the distinguished participants of this year's AI Summer Camp? Seize the opportunity and register now via the link in the comments!
---------------------------------
🏕️ 𝐀𝐈 𝐒𝐮𝐦𝐦𝐞𝐫 𝐂𝐚𝐦𝐩 𝟐𝟎𝟐𝟒 - 𝐄𝐲𝐞𝐬 𝐨𝐧 𝐭𝐡𝐞 𝐖𝐨𝐫𝐥𝐝 👁️‍🗨️
🎯 As the first international AI camp in Da Nang, AI Summer Camp (AISC) proudly serves as the ideal "gateway" for tech enthusiasts. AISC is committed to providing an engaging, in-depth, and industry-relevant learning experience, enabling participants to unlock their full potential and thrive in their AI careers.
☎️ Hotline: (+84) 968 555 825

Address

Da Nang

Alerts

Be the first to know and let us send you an email when Hekate Academy posts news and promotions. Your email address will not be used for any other purpose, and you can unsubscribe at any time.

Share