Phân tích code Python để tối ưu hiệu năng xử lý dữ liệu lớn

Bộ prompt này giúp bạn yêu cầu AI đọc, phân tích và tối ưu code Python xử lý dữ liệu lớn theo hướng có cấu trúc, thực tế và dễ áp dụng. Nội dung tập trung vào phát hiện bottleneck, giảm thời gian chạy, giảm bộ nhớ, cải thiện I/O và đề xuất refactor an toàn mà không làm thay đổi logic nghiệp vụ.
Lượt xem 26
AI sử dụng
ChatGPT Gemini Claude

Mục tiêu

Prompt này được thiết kế để hỗ trợ phân tích và tối ưu hiệu năng cho code Python dùng trong xử lý dữ liệu lớn. Bộ prompt giúp AI xác định điểm nghẽn về CPU, bộ nhớ, I/O, cấu trúc thuật toán, thao tác với pandas hoặc NumPy, và đề xuất cách cải thiện có thứ tự ưu tiên rõ ràng.

Thay vì chỉ đưa ra nhận xét chung chung, prompt hướng AI đi theo quy trình kỹ thuật: đọc bối cảnh, phân loại bottleneck, đánh giá độ phức tạp, đề xuất refactor, so sánh trước và sau, đồng thời lưu ý rủi ro ảnh hưởng đến tính đúng đắn của dữ liệu.

Khi nào nên dùng

  • Khi script Python chạy chậm trên tập dữ liệu lớn.
  • Khi job ETL, xử lý batch hoặc pipeline dữ liệu tiêu tốn quá nhiều RAM.
  • Khi code pandas có nhiều vòng lặp, apply hoặc thao tác lặp lại khó mở rộng.
  • Khi cần tối ưu truy xuất file, đọc ghi CSV, Parquet, database hoặc xử lý nhiều bước trung gian.
  • Khi cần review nhanh chất lượng kỹ thuật trước khi refactor hoặc production hóa.

Hướng dẫn tùy biến

1. Cung cấp bối cảnh chạy thực tế

Nên bổ sung kích thước dữ liệu, thời gian chạy hiện tại, giới hạn tài nguyên máy, môi trường thực thi và thư viện đang dùng. Ví dụ: số dòng dữ liệu, dung lượng file, số core CPU, RAM, phiên bản Python, pandas, NumPy.

2. Dán đúng phần code cần phân tích

Bạn có thể gửi toàn bộ script hoặc chỉ hàm nghi ngờ gây chậm. Nếu hệ thống có nhiều bước, nên đánh dấu phần đọc dữ liệu, biến đổi dữ liệu, join, groupby, loop, ghi file và log thời gian.

3. Chỉ rõ mục tiêu tối ưu

  • Ưu tiên giảm thời gian chạy.
  • Ưu tiên giảm bộ nhớ.
  • Ưu tiên giữ nguyên kết quả đầu ra.
  • Ưu tiên thay đổi ít nhất để dễ triển khai.
  • Ưu tiên tận dụng vectorization, multiprocessing hoặc thư viện thay thế.

4. Yêu cầu định dạng đầu ra rõ ràng

Bạn nên yêu cầu AI trả lời theo cấu trúc gồm: vấn đề chính, nguyên nhân, mức độ ảnh hưởng, đề xuất tối ưu, ví dụ code thay thế, rủi ro và cách kiểm chứng. Cách này giúp đội kỹ thuật áp dụng nhanh hơn.

Lưu ý

  • Không nên áp dụng tối ưu mù quáng nếu chưa đo benchmark trước và sau.
  • Cần kiểm tra lại tính đúng đắn của dữ liệu sau khi refactor, đặc biệt với thao tác groupby, merge, sort, deduplicate và xử lý thiếu dữ liệu.
  • Với dữ liệu cực lớn, đôi khi tối ưu code là chưa đủ; cần cân nhắc đổi định dạng lưu trữ, chia batch, dùng chunking hoặc công cụ xử lý phân tán.
  • Nếu code có dữ liệu nhạy cảm, hãy ẩn thông tin bí mật trước khi gửi cho AI.

Nội dung Prompt

Bạn cần đăng nhập để xem đầy đủ nội dung Prompt.

Có thể bạn quan tâm

Sản phẩm nổi bật