Bài Viết
Thư viện XGBoost được thiết kế để tận dụng tối đa sức mạnh của phần cứng hệ thống, bao gồm tất cả CPU cores và bộ nhớ. Trong bài viết này, ta sẽ cùng nhau tìm hiểu cách thiết lập một server trên AWS để train XGBoost model, sao cho vừa nhanh, vừa rẻ! 😀…
Bài Viết
Hi Vtitans, Mình nhận bài tập lấy file từ SFTP on-premises và đưa lên AWS S3, cũng đang vừa tìm hiểu cách làm vừa blog. Trong bài này mình ghi lại các bước practice để hiểu sơ lược cách code python dùng paramiko. Cài đặt SFTP Mình dùng AMI Ubuntu server 20. Requirement bao gồm:…
Bài Viết
Mở đầu Trong bài này chúng ta đi tìm hiểu các tạo ra định nghĩa 1 đoạn regex, bắt đầu từ các điều cơ bản nhé. Nguyên tắc chung So sánh lần lượt các kí tự liền nhau từ trái sang phải. Ví dụ: DEPTRAI tức là tìm kiếm các cụm từ có chữ "D",…
Bài Viết
Regex cho hạng gà Mở đầu Mình định viết 1 loạt các bài về các công việc mình đang làm (đại khái liên quan tới log). Trước tiên là về Regex. Để: Sau này mình có quên thì xem lại Và cũng là cứu vớt những tâm hồn lầm lỡ trong lúc túng quẫn đã…
Bài Viết
Hi Vtitans, Hôm nay tình cờ thấy AWS đã trình làng CloudShell nên mình tranh thủ review em nó tí và blog kiếm tương tác. Chả có gì hot, nhưng khi đang thiếu chiếc máy thân thuộc của mình với tất cả công cụ sẵn sàng, thì CloudShell cũng có ích ha. Hoặc là, muốn…
Bài Viết
Thư viện XGBoost được thiết kế để làm việc h iệu quả với cơ chế xử lý song song trên nhiều core (multithreading) của phần cứng, cả trong quá trình train và dự đoán. Hãy cùng nhau tìm hiểu cơ chế đó thông qua bài viết này. 1. Chuẩn bị dataset Chúng ta sẽ sử…
Bài Viết
Hi Vtitans! Hôm nay mình xin giới thiệu một tool test dùng cho dự án CloudFormation. Chính chủ AWS Bạn biết đấy, cho phép một tool làm đủ thứ trên môi trường khách hàng thì phải đánh giá tính tin cậy. Nếu không phải là của AWS thì cũng phải do AWS bảo chứng. Thật…
Bài Viết
Overfitting vẫn luôn là một vấn đề làm đau đầu những kỹ sư AI. Trong bài viết này chúng ta sẽ cùng tìm hiểu cách thức monitor (giám sát) performance (hiệu năng) của XGBoost model trong suốt quá trình train. Từ đó cấu hình early stopping để quyết định khi nào thì nên dừng lại…
Bài Viết
Quay lại với chủ để XGBoost, hôm nay chúng ta sẽ tìm hiểu cách thức lự chọn features cho XGBoost model. Feature selection hay lựa chọn features là một bước tương đối quan trọng trước khi train XGBoost model. Lựa chọn đúng các features sẽ giúp model khái quát hóa vấn đề tốt hơn (low…
Bài Viết
Tạm dừng loạt bài viết về XGBoost model, lần này sẽ là một bài nhẹ nhàng hơn, không có code kiếc gì cả! 😀 Bạn thường nghe nói Data Scientist là nghê sexy nhất thế kỷ 21, với mức lương cao ngất ngưởng, tạo ra những sản phầm có tầm ảnh hưởng lớn, được mọi…
Bài Viết
Giả sử bạn đã train xong một XGBoost model đạt được độ chính xác rất cao. Câu hỏi đặt ra là làm sao lưu lại model đó để sử dụng về sau (không phải mất công train lại model mỗi khi cần sử dụng)? Trong bài viết này, chúng ta hãy cùng tìm hiểu cách…
Bài Viết
Ta đã biết, XGBoost thực chất là tập hợp gồm nhiều decision tree. Việc thể hiện mỗi decision tree đó trên đồ thì sẽ giúp chúng ta hiểu sâu sắc hơn quá trình boosting khi đưa vào một tập dữ liệu. Trong bài này, hãy cùng tìm hiểu cách thức thể hiện đó từ một…