DeepSeek OCR nén văn bản thành hình ảnh để giảm chi phí AI và mở rộng cửa sổ ngữ cảnh

Cách mới để đưa tài liệu dài vào ngữ cảnh AI

DeepSeek đã phát hành DeepSeek-OCR, một hệ thống thị giác-ngôn ngữ có thể nén các đoạn văn bản dài bằng cách chuyển chúng thành hình ảnh, sau đó khôi phục nội dung khi mô hình cần. Tùy thiết lập và loại tài liệu, phương pháp này giảm số token mà một mô hình ngôn ngữ lớn phải xử lý từ 7 đến 20 lần, trong khi vẫn duy trì độ chính xác cao ở mức nén vừa phải. DeepSeek cho biết hệ thống đạt độ chính xác giải mã khoảng 97% ở mức nén 10 lần và vẫn cho kết quả hữu ích ở các tỷ lệ nén cao hơn. Dự án được phát hành kèm mã nguồn và trọng số, sẵn sàng cho các nhà phát triển, đồng thời nhắm đến một trong những điểm gây tốn kém nhất của AI hiện đại: xử lý ngữ cảnh dài với chi phí hợp lý.

Hệ thống hoạt động qua hai giai đoạn. Bộ mã hóa thị giác có tên DeepEncoder chuyển các trang văn bản, bảng biểu, biểu đồ và những bố cục khác thành một tập hợp gọn các token thị giác. Sau đó, mô hình ngôn ngữ nhẹ DeepSeek3B MoE A570M giải mã các token này thành văn bản có cấu trúc. Cách thiết lập này bảo toàn bố cục và định dạng khi cần, hỗ trợ nhiều ngôn ngữ, đồng thời có thể xuất văn bản thuần hoặc kết quả có cấu trúc như bảng Markdown.

Lý do điều này quan trọng nằm ở token, đơn vị cơ bản mà các mô hình ngôn ngữ đọc và ghi. Càng nhiều token thì mức sử dụng bộ nhớ và độ trễ càng tăng, kéo theo chi phí cao hơn. Mô hình cũng có giới hạn cứng về lượng ngữ cảnh có thể tiếp nhận cùng lúc. Bằng cách lưu ngữ cảnh dưới dạng hình ảnh và truy xuất lại thông qua token thị giác, DeepSeek-OCR tạo ra một tầng bộ nhớ rẻ hơn cho các phiên làm việc dài và tài liệu lớn, với tiềm năng mở rộng cửa sổ ngữ cảnh hiệu dụng vượt xa khả năng của văn bản đơn thuần.

Khả năng mở rộng quy mô là một tuyên bố cốt lõi. Quá trình huấn luyện sử dụng khoảng 30 triệu trang PDF bằng gần 100 ngôn ngữ, cùng dữ liệu tổng hợp bổ sung về biểu đồ, công thức và hình minh họa. Về vận hành, nhóm phát triển cho biết một GPU Nvidia A100 có thể xử lý hơn 200.000 trang mỗi ngày. Cụm 20 máy chủ tương tự có thể nâng con số này lên khoảng 33 triệu trang mỗi ngày. Các số liệu cho thấy tiềm năng xây dựng quy trình số hóa tài liệu nhanh và tạo dữ liệu huấn luyện ở quy mô lớn.

Vì sao chuyển văn bản thành hình ảnh giúp giảm token

Mô hình ngôn ngữ tiếp nhận đầu vào dưới dạng token, chứ không phải từ hay ký tự. Một bài viết hoặc báo cáo thông thường có thể được chuyển thành hàng nghìn token. Cơ chế attention bên trong hầu hết các mô hình transformer so sánh nhiều cặp token, và lượng tính toán tăng nhanh khi chuỗi dài hơn. Ngữ cảnh dài làm tăng bộ nhớ và thời gian xử lý; ở quy mô lớn, đây trở thành vấn đề ngân sách.

Token và cửa sổ ngữ cảnh là gì

Token là những mảnh ngôn ngữ mà mô hình có thể hiểu. Một từ ngắn có thể tương ứng với một token, từ dài hơn có thể tách thành nhiều token, và dấu câu cũng được tính. Số token tối đa mà mô hình có thể xem xét cùng lúc được gọi là cửa sổ ngữ cảnh. Nhiều tài liệu thực tế vượt quá giới hạn này, buộc người dùng phải cắt bớt nội dung hoặc trả chi phí cao cho các mô hình chuyên xử lý ngữ cảnh dài.

Vì sao lưu bằng điểm ảnh có thể rẻ hơn lưu bằng văn bản

Bộ mã hóa thị giác chuyển hình ảnh thành một lưới nhỏ hơn gồm các mảng ảnh, rồi nén lưới đó thành một tập hợp token thị giác. Bộ mã hóa của DeepSeek sử dụng khối nén để giảm số token trước khi chuyển đặc trưng sang bộ giải mã. Một ví dụ trong tài liệu kỹ thuật mô tả hình ảnh 1.024 x 1.024 điểm ảnh, ban đầu có 4.096 token mảng ảnh, sau đó giảm xuống còn 256 token nén trước khi đi vào mô hình thị giác-ngôn ngữ. Nếu 256 token này nắm bắt được nội dung cốt lõi của một trang dày đặc vốn cần 1.500 token văn bản trở lên, mức tiết kiệm sẽ thấy ngay.

Đánh đổi rất đơn giản. Thay vì lưu ngữ cảnh dài dưới dạng token văn bản, hệ thống lưu các ảnh chụp nhanh dưới dạng token thị giác gọn nhẹ, rồi tái tạo ý nghĩa khi cần. Cách này giúp kiểm soát mức sử dụng bộ nhớ, bảo toàn bố cục và sơ đồ, đồng thời tránh một số hạn chế của bộ tách token văn bản. Đổi lại, hệ thống phải thêm các bước mã hóa và giải mã, đồng thời độ chính xác giảm dần ở tỷ lệ nén rất cao.

Bên trong mô hình: DeepEncoder và bộ giải mã

DeepEncoder kết hợp hai ý tưởng quen thuộc: nhận diện cục bộ và hiểu biết toàn cục. Mô hình sử dụng backbone Segment Anything Model để nhận diện chi tiết các vùng và đường biên, cùng một mô-đun kiểu CLIP để nắm bắt bố cục ngữ nghĩa tổng thể. Ở giữa là bộ nén tích chập giúp cắt giảm số token thị giác trước khi chuyển chúng sang mô hình ngôn ngữ. Bộ mã hóa hỗ trợ nhiều chế độ độ phân giải, cho phép người dùng chọn ngân sách token phù hợp với độ phức tạp của từng trang. Slide đơn giản có thể chỉ cần ít token. Trang tin dày đặc hoặc hình minh họa khoa học phức tạp có thể cần nhiều hơn.

Bộ giải mã là mô hình ngôn ngữ Mixture of Experts, được xây dựng trên thiết kế ba tỷ tham số, trong đó khoảng 570 triệu tham số được kích hoạt cho mỗi token. Cơ chế định tuyến chuyên gia giúp mô hình tập trung vào các loại nội dung khác nhau mà không phải sử dụng toàn bộ ba tỷ tham số cho từng token. Điều này giảm lượng tính toán mà vẫn giữ chất lượng cao. Hệ thống có thể xuất văn bản thuần, giữ nguyên cấu trúc dưới dạng Markdown, thậm chí trích xuất dữ liệu từ bảng và biểu đồ sang các định dạng máy có thể xử lý. Hệ thống hỗ trợ OCR đa ngôn ngữ và có thể diễn giải sơ đồ, cấu trúc hóa học và hình học.

Các cấu hình cài sẵn gồm Tiny, Small, Base và Large, cùng chế độ động dành cho những trang rất phức tạp. Các cấu hình này cân bằng giữa kích thước hình ảnh và số token. DeepSeek khuyến nghị bắt đầu với Small cho các trang thông thường, rồi chỉ tăng cấu hình khi nội dung dày đặc hoặc bố cục khó xử lý.

Ý nghĩa của các điểm chuẩn và số liệu độ chính xác

Nén chỉ hữu ích nếu bộ giải mã có thể khôi phục văn bản với độ trung thực cao. DeepSeek cho biết độ chính xác trong các bài kiểm tra giải mã đạt khoảng 97% khi tỷ lệ nén dưới 10 lần. Con số này giảm xuống khoảng 60% ở mức nén 20 lần. Nhóm cũng đưa ra ví dụ trong đó 100 token thị giác đại diện cho tài liệu vốn cần 700 đến 800 token văn bản, trong khi độ chính xác vẫn ở khoảng 97% trên một bài đánh giá có phạm vi hẹp. Các số liệu này phù hợp với nhận định rằng nén ở mức trung bình mang lại sự cân bằng tốt nhất giữa tiết kiệm và độ chính xác.

Trong OmniDocBench, một bài kiểm tra phổ biến về khả năng hiểu tài liệu, mô hình vượt các hệ thống OCR nổi tiếng trong khi sử dụng ít token hơn. Số token cần thiết thay đổi theo loại tài liệu. Slide và tờ giới thiệu đơn giản có thể cần khoảng 64 token thị giác mỗi trang. Tạp chí hoặc báo có nhiều cột và hình ảnh có thể cần vài trăm token. Tùy thiết lập của người dùng, hệ thống có thể giữ nguyên định dạng hoặc loại bỏ định dạng.

Các chỉ số vận hành khá tham vọng. Nhóm cho biết một card Nvidia A100 xử lý được hơn 200.000 trang mỗi ngày, còn cụm 20 máy chủ xử lý khoảng 33 triệu trang mỗi ngày. Mã huấn luyện và suy luận cùng trọng số mô hình được cung cấp theo giấy phép rộng rãi. Sự kết hợp này tạo điều kiện cho việc thử nghiệm nhanh trong môi trường nghiên cứu và sản xuất.

AI có thể thay đổi ra sao về chi phí, bộ nhớ và thiết kế sản phẩm

Nhiều sản phẩm AI gặp giới hạn khi cuộc trò chuyện hoặc chuỗi tài liệu kéo dài. Lưu ngữ cảnh trước đó dưới dạng token thị giác sẽ tạo cho mô hình một tầng bộ nhớ rẻ hơn. Hệ thống có thể tóm tắt hoặc nén các lượt trao đổi cũ thành hình ảnh, rồi giải mã chi tiết khi cần. Cách này giữ cho ngữ cảnh văn bản đang hoạt động gọn nhẹ mà vẫn cho phép truy xuất sự kiện, trích dẫn và bố cục từ các giai đoạn trước. Nó cũng giúp mô hình xử lý các trang có bảng phức tạp hoặc công thức toán học mà bộ tách token truyền thống không xử lý tốt.

Với người dùng, cách làm này mở ra những quy trình thiết thực. Một trợ lý có thể tiếp nhận các tệp PDF dài, hợp đồng và bảng tính, lưu giữ bộ nhớ gọn nhẹ, rồi khôi phục chính xác các phần cần thiết cùng cấu trúc khi được yêu cầu. Việc sao chép các hàng trong bảng hoặc trích xuất chú thích hình trở nên đơn giản hơn vì bộ giải mã tái tạo cấu trúc, chứ không chỉ các ký tự thô. Điều này cũng gợi mở khả năng xây dựng hệ thống tìm kiếm doanh nghiệp hiệu quả, lập chỉ mục các ảnh chụp nhanh trang đã nén rồi giải mã đoạn trích khi cần.

Với nhà phát triển và nhà nghiên cứu, thông lượng là yếu tố quan trọng. Hệ thống có thể tạo các kho dữ liệu huấn luyện lớn cho mô hình ngôn ngữ và thị giác, xử lý hàng trăm nghìn trang trên mỗi GPU mỗi ngày. Tốc độ đó giúp tạo dữ liệu có giám sát với chi phí thấp hơn. Các ngành phụ thuộc vào biểu đồ và biểu mẫu như tài chính, y tế và khoa học có thể đẩy nhanh quy trình số hóa mà vẫn bảo toàn cấu trúc tốt hơn. Tuy nhiên, vẫn cần thận trọng khi dùng đầu ra đã nén để huấn luyện các mô hình sau này, vì những lỗi giải mã nhỏ có thể tạo ra nhãn nhiễu trên quy mô lớn.

Hạn chế, rủi ro và câu hỏi còn bỏ ngỏ

Nén mạnh hơn giúp giảm ngân sách token nhưng làm giảm độ trung thực. Ở mức nén khoảng 20 lần, độ chính xác được báo cáo giảm xuống khoảng 60%. Nhiều tác vụ có thể chấp nhận sai sót nhỏ. Nhưng những nội dung như tên riêng, con số và điều khoản pháp lý đòi hỏi độ chính xác gần như tuyệt đối. Người dùng sẽ cần có chính sách chuyển các trang trọng yếu sang chế độ nén thấp hơn, đồng thời dành mức nén mạnh cho ngữ cảnh không cần tái tạo chính xác.

Khả năng suy luận cũng là một vấn đề cần xem xét. Mô hình xử lý suy luận tốt trên token văn bản vì được huấn luyện theo cách đó. Token thị giác mang đến những thiên hướng quy nạp khác. Bộ giải mã phải khôi phục văn bản trước rồi mới suy luận. Bước bổ sung này có thể ảnh hưởng đến các tác vụ cần chuỗi suy luận dài. Các nhóm sẽ cần kiểm tra khả năng suy luận nhiều bước khi ngữ cảnh quan trọng nằm sau lớp hình ảnh, đồng thời cân nhắc phương án dự phòng cho những tác vụ đòi hỏi độ chính xác cao.

Độ trễ và kế hoạch hạ tầng vẫn là những yếu tố cần tính đến. Các bước mã hóa và giải mã bổ sung làm tăng khối lượng xử lý. Lợi ích chỉ xuất hiện khi tài liệu lớn hoặc cuộc trò chuyện dài. Khi triển khai, cần đánh giá thời gian thực tế, bộ nhớ và chi phí trên nhiều loại tài liệu để xác định ngưỡng nén và thời điểm nên chuyển văn bản thô. Định dạng lưu trữ cũng thay đổi: hình ảnh hoặc tensor dạng hình ảnh thay thế tệp văn bản thô, có thể ảnh hưởng đến hệ thống truy xuất và quy trình tuân thủ.

Quyền riêng tư và bảo mật cần được chú ý. Nén các tệp nhạy cảm thành hình ảnh hoặc token thị giác không loại bỏ rủi ro. Các biện pháp kiểm soát truy cập, mã hóa và nhật ký kiểm toán vẫn phải được áp dụng cho kho lưu trữ đã nén. Một số tài liệu, như bản quét độ phân giải thấp hoặc chữ viết tay khó đọc, vẫn sẽ gây khó khăn cho mô hình. Với các quy trình trọng yếu, vẫn nên lựa chọn chế độ động và có người kiểm tra.

Cách dùng thử DeepSeek OCR ngay hôm nay

Trang dự án trên Hugging Face cung cấp thẻ mô hình, hướng dẫn bắt đầu nhanh và tệp tải xuống. Mã nguồn và trọng số cũng có trên GitHub theo giấy phép rộng rãi, cho phép sử dụng trong cả nghiên cứu học thuật lẫn thương mại. Nhà phát triển có thể bắt đầu tại đây: trang mô hình trên Hugging Face và tại đây: kho mã nguồn trên GitHub.

Cấu hình tham khảo liệt kê Python 3.12.9 và CUDA 11.8, cùng các thư viện phụ thuộc gồm PyTorch, Transformers, Tokenizers, Einops, Addict, Easydict và Flash Attention. Nên dùng GPU Nvidia để tăng tốc. Các chế độ cài sẵn cho phép người dùng đánh đổi giữa độ chi tiết và chi phí. Với tài liệu kinh doanh thông thường, Small là lựa chọn khởi đầu hợp lý. Các trang khoa học hoặc pháp lý dày đặc có thể cần độ phân giải cao hơn hoặc chế độ động.

Quy trình thông thường chuyển PDF thành hình ảnh từng trang, đưa từng trang vào DeepEncoder với độ phân giải đã chọn, rồi giải mã các token thị giác thu được bằng mô hình ngôn ngữ. Đầu ra có thể là văn bản thuần để tìm kiếm hoặc Markdown giữ lại bảng và tiêu đề mục. Kho GitHub có các tập lệnh xử lý hàng loạt và mẹo tăng thông lượng. Các nhóm nên theo dõi độ chính xác khi tăng tỷ lệ nén và giữ thiết lập thận trọng cho những trang trọng yếu.

Điểm chính

• DeepSeek-OCR nén văn bản dài bằng cách lưu dưới dạng hình ảnh, rồi khôi phục nội dung theo yêu cầu bằng bộ giải mã.
• Tùy thiết lập và độ phức tạp của tài liệu, lượng token sử dụng giảm khoảng 7 đến 20 lần.
• Độ chính xác giải mã được báo cáo đạt khoảng 97% ở mức nén gần 10 lần và khoảng 60% ở mức gần 20 lần.
• Kiến trúc kết hợp DeepEncoder với bộ giải mã Mixture of Experts, kích hoạt khoảng 570 triệu tham số cho mỗi token.
• Các chế độ trải từ Tiny đến Large, cùng tùy chọn động cho những trang rất phức tạp, cho phép người dùng đặt ngân sách token cụ thể.
• Kết quả đánh giá cho thấy mô hình đạt thành tích tốt trên OmniDocBench trong khi dùng ít token hơn các hệ thống OCR phổ biến.
• Thông lượng được công bố gồm hơn 200.000 trang mỗi ngày trên một GPU Nvidia A100 và khoảng 33 triệu trang mỗi ngày trên cụm 20 máy chủ.
• Đầu ra có cấu trúc gồm bảng Markdown và dữ liệu biểu đồ; hệ thống hỗ trợ sơ đồ, công thức và nhiều ngôn ngữ.
• Mã nguồn mở và trọng số được cung cấp trên Hugging Face và GitHub theo giấy phép rộng rãi.
• Các ứng dụng phù hợp nhất gồm bộ nhớ ngữ cảnh dài với chi phí thấp hơn, số hóa tài liệu quy mô lớn và tạo dữ liệu huấn luyện; cần thiết lập thận trọng với các tác vụ đòi hỏi độ chính xác cao.