Với các file CSV (vài chục Mb) và những file CSV (500Mb) sử dụng python có thể nạp CSV qua giao diện hoặc từ thư mục trên máy chủ. Đã tối ưu:
(#) Ký tự xuống dòng nội bộ (Embedded Newlines);
(#) CSV: Chỉ có header, rỗng ruột; file CSV có chứa dữ liệu của nhiều tháng hoặc nhiều loại báo cáo (Có thể đơn ngày hoặc đa ngày, đa tháng, đa loại): "có bao nhiêu NGAY_BAOCAO thì thêm tương ứng bấy nhiêu dòng vào logs_nap_csv"
(#) Kiểm tra sự toàn vẹn: Đếm số dòng nạp vào có khớp với số dòng thực tế trong file hay không. Kiểm tra sự toàn vẹn: Đếm số dòng dựa trên cột hệ thống ten_file_goc
(#) Tối ưu hóa I/O Buffer.
(#) Chống trùng lặp.
(#) Cưỡng bức dọn dẹp RAM rác sau khi kết thúc một tệp tin lớn.
XEM THÊM ==> Hướng dẫn cài đặt chi tiết
HƯỚNG DẪN CÀI ĐẶT
Phải có mysql; kết nối thành công; có user phân quyền đủ dùng, không dùng root.
Sử dụng Python, HTML một chút
Xem được dữ liệu được nạp thành công vào bảng nào, nạp cái gì, vào đâu, đếm số lượng đếm ruột từ các bảng để so sánh với số lượng dòng khi nạp CSV
Nguồn: Topcode.vn
