Lưu tài liệu web vào Markdown và JSON với DocGrab
DocGrab - Tài liệu sang Markdown / JSON, bởi rukkiecodes, chuyển đổi tài liệu web thành các tệp Markdown hoặc JSON cục bộ để người dùng giữ các bản sao vĩnh viễn, có thể chỉnh sửa. Tiện ích mở rộng này ghi lại các trang đơn lẻ hoặc thu thập toàn bộ trang tài liệu, đọc DOM đã được trình duyệt hiển thị và loại bỏ quảng cáo cùng các lớp phủ để tạo ra đầu ra sạch. Nó lưu tệp trực tiếp vào một thư mục đã chọn thông qua File System Access API và hỗ trợ nội dung được trình bày bằng JavaScript. Các nhà phát triển, nhà văn kỹ thuật và kỹ sư AI đều được hưởng lợi từ tài liệu sẵn sàng xuất, có thể phiên bản cho tham khảo ngoại tuyến và tiếp nhận mô hình.
DocGrab dùng để làm gì?
DocGrab chuyển đổi tài liệu web thành Markdown có thể chỉnh sửa hoặc JSON có cấu trúc, nhằm cung cấp cho người dùng các bản sao cục bộ, có thể phiên bản của tài liệu trực tuyến. Nó hỗ trợ cả việc lưu nhanh và tải xuống quy mô trang web, cho phép các chuyên gia lưu lại các trang đơn lẻ hoặc sao chép toàn bộ thư viện tài liệu mà không cần sao chép và dán thủ công.
- Bắt trang đơn từ tab đang hoạt động
- Quét toàn bộ trang web theo các liên kết từ URL gốc
Nó xử lý các trang nặng JavaScript như thế nào?
Bởi vì DocGrab đọc trang như được hiển thị trong trình duyệt, nó có thể ghi lại các phần được tải lười, các ví dụ theo tab, và nội dung được tiết lộ qua tương tác. Hỗ trợ kết xuất JavaScript có nghĩa là tiện ích mở rộng ghi lại những gì bạn thấy thay vì mã HTML thô. Không cần công cụ bên ngoài; tiện ích mở rộng hoạt động bên trong Chrome và tránh các thiết lập CLI hoặc Python bổ sung mà các công cụ thu thập dữ liệu truyền thống thường cần.
Các tệp xuất ra đi đâu, và các định dạng nào được sản xuất?
DocGrab ghi đầu ra trực tiếp vào một thư mục bạn chọn bằng cách sử dụng API Truy cập Hệ thống Tệp, vì vậy các tệp xuất hiện trên đĩa cục bộ của bạn mà không cần tải xuống thủ công. Xuất định dạng kép hỗ trợ Markdown (.md) cho việc chỉnh sửa của con người và JSON (.json) cho việc tiếp nhận có cấu trúc, và tiện ích mở rộng có thể sản xuất cả hai định dạng trong một lần chạy. Mô hình ghi trực tiếp này đơn giản hóa việc thêm các bản ghi vào Obsidian, một kho lưu trữ, hoặc một quy trình tự động.
Ai là người hưởng lợi nhiều nhất và nó phù hợp với quy trình làm việc như thế nào?
DocGrab nhắm đến các nhà phát triển, nhà viết tài liệu kỹ thuật, và kỹ sư AI cần các bản sao sạch sẽ, ngoại tuyến cho nghiên cứu, bảo trì tài liệu, hoặc tạo ra nội dung tăng cường thu hồi. Đầu ra không lộn xộn giúp giảm thiểu việc dọn dẹp thủ công khi nhập ghi chú hoặc xây dựng cơ sở tri thức. Các nhóm chuẩn bị dữ liệu huấn luyện mô hình hoặc biên soạn tài liệu nội bộ có thể sử dụng các tệp xuất ra như một điểm khởi đầu cho kiểm soát phiên bản, đánh giá biên tập, hoặc tiếp nhận quy trình mà không cần các bước chuyển đổi bổ sung.
Tốt nhất khi bạn cần tài liệu bền vững, có thể xuất khẩu cho các quy trình làm việc địa phương
DocGrab là một lựa chọn thực tế cho các chuyên gia cần tài liệu sẵn sàng xuất khẩu cho nghiên cứu ngoại tuyến hoặc đầu vào mô hình. Bởi vì tiện ích mở rộng có thể phản chiếu các bộ tài liệu lớn và ghi các tệp vào máy của bạn, hãy lên kế hoạch không gian đĩa và phạm vi thu thập trước khi thực hiện các bản chụp rộng. Công cụ này ưu tiên các quy trình làm việc dựa trên kho lưu trữ và các đường ống đã chuẩn bị hơn là các lưu trữ trình duyệt ngẫu nhiên, vì vậy hãy coi nó như một tiện ích chuẩn bị tài liệu thay vì một công cụ cắt ghép thông thường.
