Bộ dữ liệu văn bản được cấp phép cho đào tạo LLM & AI
Cấp phép sử dụng các kho ngữ liệu văn bản sẵn có cho việc đào tạo LLM, NLP và AI tạo sinh — bao gồm hỏi đáp hội thoại, mã lập trình, tin tức, dữ liệu lâm sàng, học thuật và đa ngôn ngữ, được tùy chỉnh theo dự án của bạn.
Bộ dữ liệu văn bản được cấp phép cho đào tạo LLM và NLP
Kho dữ liệu văn bản của Shaip cung cấp cho các nhóm AI các bộ dữ liệu văn bản sẵn sàng cấp phép để huấn luyện, tinh chỉnh và đánh giá các mô hình ngôn ngữ lớn (LLM) và hệ thống xử lý ngôn ngữ tự nhiên (NLP). Nó bao gồm tám danh mục. Mỗi bộ dữ liệu đều được lấy từ tài liệu thực tế và có thể được điều chỉnh phạm vi cho dự án của bạn.
Danh mục này bao gồm các bộ dữ liệu hỏi đáp hội thoại và hướng dẫn bằng tiếng Anh và tiếng Ả Rập, bao gồm tiếng Ả Rập chuẩn hiện đại và các phương ngữ của Ả Rập Xê Út, Các Tiểu vương quốc Ả Rập Thống nhất, Ai Cập và vùng Levant. Nó cũng có các bộ dữ liệu kho mã nguồn bằng chín ngôn ngữ lập trình, một số có đầy đủ lịch sử yêu cầu kéo và cam kết. Đối với các mô hình sự kiện hiện tại và RAG, có các bộ dữ liệu tin tức bằng tiếng Anh, tiếng Tây Ban Nha và tiếng Ả Rập, bao gồm kho lưu trữ 975,000 bài báo từ năm 1999. Các nhóm AI chăm sóc sức khỏe có thể sử dụng các bộ dữ liệu hỏi đáp lâm sàng và dữ liệu trường hợp , có sẵn dưới dạng bộ dữ liệu vàng và bạc, bao gồm cả việc ẩn danh hóa dữ liệu.
Để phục vụ cho giai đoạn huấn luyện sơ bộ, hệ thống sử dụng văn bản thô và các kho ngữ liệu quy mô web , bao gồm cả kho ngữ liệu tiếng Ả Rập gồm 20 triệu từ. Các kho ngữ liệu tài liệu được quét hỗ trợ trí tuệ nhân tạo trong xử lý tài liệu và trích xuất thông tin. Văn bản học thuật và văn bản xuất bản bao gồm mười hai chủ đề khoa học và kỹ thuật, còn văn bản giải trí có kịch bản bao gồm phim ảnh, truyền hình, hoạt hình và phim ngắn.
Mỗi bộ dữ liệu đều đi kèm với giấy phép rõ ràng và quy trình kiểm duyệt chất lượng. Chúng tôi cung cấp các mẫu để bạn có thể đánh giá bộ dữ liệu trước khi mua. Vui lòng xem các danh mục bên dưới hoặc liên hệ với chúng tôi để thảo luận về việc thu thập dữ liệu văn bản theo yêu cầu.
Bộ dữ liệu Hỏi & Đáp và Hướng dẫn qua hội thoại
Các bộ dữ liệu này chứa các cặp câu hỏi-trả lời do con người biên soạn và các lời nhắc theo kiểu hướng dẫn bằng tiếng Ả Rập và tiếng Anh, bao gồm tiếng Ả Rập chuẩn hiện đại cùng với các phương ngữ của Ả Rập Xê Út, Các Tiểu vương quốc Ả Rập Thống nhất, Ai Cập và vùng Levant. Các bộ dữ liệu chuyên biệt theo lĩnh vực bao gồm STEM, thực phẩm và nông nghiệp. Chúng hỗ trợ việc điều chỉnh, tinh chỉnh và đánh giá các mô hình ngôn ngữ trong đó phạm vi bao phủ phương ngữ khu vực và kiến thức dựa trên văn hóa là yếu tố quan trọng.
Bộ dữ liệu kho mã nguồn và phần mềm
Các codebase sản phẩm được lấy từ phần mềm thực tế đã được phát hành, sử dụng các ngôn ngữ lập trình C#, React, TypeScript, Angular, Java, Go, PHP, Swift và BrightScript. Một số mục bao gồm đầy đủ lịch sử pull-request và commit, cho thấy mã đã thay đổi như thế nào trong quá trình xem xét. Chúng hỗ trợ tự động hoàn thành mã, tạo mã, hiểu mã và đào tạo mô hình đánh giá mã, với các kho lưu trữ có sẵn để dùng thử trước khi cấp phép.
Bộ dữ liệu văn bản tin tức và báo chí
Các bài báo được biên tập và viết chuyên nghiệp từ một tổ chức tin tức quốc tế lớn, được cung cấp định kỳ bằng tiếng Anh, tiếng Tây Ban Nha và tiếng Ả Rập, cũng như dưới dạng kho lưu trữ gồm 975,000 bài báo được xuất bản từ năm 1999. Mỗi bài báo đều có tên tác giả, ngày xuất bản, tiêu đề, nội dung và thẻ chủ đề. Chúng phù hợp cho việc huấn luyện mô hình sự kiện hiện tại, tạo nội dung tăng cường bằng truy xuất và các nhiệm vụ suy luận theo thời gian.
Hỏi đáp lâm sàng & Bộ dữ liệu ca bệnh
Bộ câu hỏi-trả lời y tế, tóm tắt ca lâm sàng và các bài báo y khoa toàn văn được sử dụng để đào tạo và đánh giá mô hình tập trung vào chăm sóc sức khỏe. Có sẵn bộ dữ liệu "vàng" và "bạc", bộ dữ liệu "vàng" được chuẩn bị theo tiêu chuẩn đánh giá cao hơn để so sánh. Trường hợp tài liệu nguồn chứa thông tin nhận dạng cá nhân hoặc thông tin sức khỏe được bảo mật, việc biên tập, ẩn danh và che giấu thông tin sẽ được đưa vào phạm vi dự án.
Văn bản thô & Kho ngữ liệu quy mô web
Kho dữ liệu khổng lồ bao gồm văn bản thô, lời nhắc và kịch bản chuyển văn bản thành giọng nói, trải rộng trên tiếng Ả Rập chuẩn hiện đại và các phương ngữ khu vực, trong đó có một kho dữ liệu thô 20 triệu từ. Chúng hỗ trợ việc huấn luyện trước mô hình ngôn ngữ và mở rộng vốn từ vựng cũng như phạm vi bao phủ phương ngữ trong các mô hình xử lý tốt tiếng Ả Rập chuẩn hiện đại nhưng lại hoạt động kém hiệu quả với các biến thể phương ngữ nói.
Kho dữ liệu tài liệu và văn bản được quét
Các tài liệu được quét từ thực tế và các biểu mẫu có cấu trúc được cung cấp dưới dạng PDF, với bố cục và chất lượng quét chân thực chứ không phải là các bản dựng tổng hợp. Chúng hỗ trợ trí tuệ nhân tạo tài liệu, xử lý ngôn ngữ tự nhiên gần giống OCR và trích xuất thông tin, đặc biệt là đối với việc hiểu tài liệu dạng cặp khóa-giá trị và dạng bảng, nơi bố cục có ý nghĩa quan trọng không kém gì chính văn bản.
Bộ dữ liệu văn bản học thuật và nhà xuất bản
Sách và bài báo tạp chí toàn văn được cấp phép từ nhà xuất bản học thuật và phân phối qua API, bao gồm mười hai lĩnh vực thuộc khoa học vật lý và kỹ thuật — thiên văn học, y sinh học, xây dựng dân dụng, điện và điện tử, năng lượng, công nghiệp, khoa học vật liệu, cơ khí, công nghệ nano, vật lý, khoa học polymer và quản lý an ninh. Chúng phù hợp cho việc đào tạo trước và tra cứu khoa học kỹ thuật cũng như tài liệu nguồn đã được bình duyệt.
Giải trí có kịch bản & Văn bản tự sự
Các kịch bản sản xuất, bản ghi lời thoại và văn bản tường thuật được trích từ một kho tư liệu giải trí khổng lồ bao gồm phim truyện, truyền hình, hoạt hình và phim ngắn nhiều tập, thuộc các thể loại chính kịch, hài kịch, khoa học viễn tưởng, phim cao bồi, hành động, bí ẩn, lãng mạn, kinh dị và tôn giáo. Chúng hỗ trợ việc tạo ra cốt truyện và lời thoại, mô phỏng định dạng kịch bản và khớp kịch bản với cảnh quay.
Những câu hỏi thường gặp (FAQ)
1. Tập dữ liệu văn bản dùng để huấn luyện AI là gì?
Các tập dữ liệu văn bản dùng để huấn luyện AI là những bộ sưu tập ngôn ngữ viết được tuyển chọn kỹ lưỡng, chẳng hạn như các cặp câu hỏi-trả lời, hướng dẫn, bài báo, mã lập trình, hồ sơ lâm sàng, sách và kịch bản, được sử dụng để huấn luyện trước, tinh chỉnh và đánh giá các mô hình ngôn ngữ lớn (LLM) và hệ thống xử lý ngôn ngữ tự nhiên (NLP). Danh mục dữ liệu văn bản của Shaip cung cấp các tập dữ liệu sẵn sàng cấp phép thuộc tám danh mục, mỗi danh mục đều được lấy từ các tài liệu thực tế.
2. Shaip cung cấp những loại bộ dữ liệu văn bản nào?
Danh mục này bao gồm tám loại: bộ dữ liệu hỏi đáp và hướng dẫn hội thoại, bộ dữ liệu kho mã và phần mềm, văn bản tin tức và báo chí, bộ dữ liệu hỏi đáp và ca bệnh lâm sàng, văn bản thô và ngữ liệu quy mô web, ngữ liệu tài liệu được quét, văn bản học thuật và xuất bản, và văn bản giải trí và tự sự có kịch bản.
3. Những ngôn ngữ và phương ngữ nào được đề cập?
Bộ dữ liệu có sẵn bằng tiếng Anh, tiếng Ả Rập và tiếng Tây Ban Nha. Phạm vi phủ sóng tiếng Ả Rập bao gồm tiếng Ả Rập chuẩn hiện đại cùng với các phương ngữ của Ả Rập Xê Út, Các Tiểu vương quốc Ả Rập Thống nhất, Ai Cập và vùng Levant, điều này giúp ích cho các mô hình xử lý tốt tiếng Ả Rập chuẩn hiện đại nhưng gặp khó khăn với các biến thể ngôn ngữ nói theo vùng miền.
4. Các bộ dữ liệu này hỗ trợ những trường hợp sử dụng trí tuệ nhân tạo nào?
Các trường hợp sử dụng phổ biến bao gồm huấn luyện trước LLM, điều chỉnh và tinh chỉnh hướng dẫn, đánh giá và so sánh mô hình, tạo nội dung tăng cường truy xuất (RAG), hoàn thiện mã và xem xét mã, trí tuệ nhân tạo trong chăm sóc sức khỏe, trí tuệ nhân tạo trong tài liệu và trích xuất thông tin, cũng như tạo hội thoại và kịch bản.
5. Tôi có thể đánh giá bộ dữ liệu trước khi cấp phép sử dụng không?
Có. Chúng tôi có thể cung cấp mẫu hoặc quyền truy cập để đánh giá trước khi bạn cấp phép sử dụng bộ dữ liệu, giúp nhóm của bạn kiểm tra tính phù hợp, định dạng và chất lượng. Hãy liên hệ với chúng tôi để yêu cầu mẫu từ danh mục liên quan và nêu rõ trường hợp sử dụng của bạn.
6. Dữ liệu nhạy cảm như thông tin nhận dạng cá nhân (PII) và thông tin sức khỏe cá nhân (PHI) được xử lý như thế nào?
Trường hợp tài liệu nguồn chứa thông tin nhận dạng cá nhân hoặc thông tin sức khỏe được bảo mật, chẳng hạn như dữ liệu lâm sàng, việc biên tập, ẩn danh và che giấu thông tin sẽ được đưa vào phạm vi hợp tác để đảm bảo dữ liệu đáp ứng các yêu cầu về quyền riêng tư và tuân thủ quy định của bạn.
7. Sự khác biệt giữa bộ dữ liệu vàng và bộ dữ liệu bạc là gì?
Bộ dữ liệu "vàng" được chuẩn bị theo tiêu chuẩn đánh giá cao hơn và phù hợp nhất cho việc so sánh và đánh giá hiệu suất. Bộ dữ liệu "bạc" trải qua quá trình đánh giá tiêu chuẩn và phù hợp hơn cho việc đào tạo quy mô lớn, nơi khối lượng dữ liệu đóng vai trò quan trọng hơn.
8. Có thể tùy chỉnh hoặc mở rộng các tập dữ liệu không?
Có. Các tập dữ liệu có thể được tùy chỉnh theo dự án của bạn dựa trên ngôn ngữ, lĩnh vực, khối lượng hoặc định dạng. Nếu danh mục không đáp ứng được nhu cầu của bạn, Shaip có thể thu thập và chú thích dữ liệu văn bản tùy chỉnh theo yêu cầu của bạn.
9. Có những lựa chọn cấp phép nào?
Việc cấp phép được giới hạn cho từng trường hợp cụ thể dựa trên tập dữ liệu, khối lượng, mục đích sử dụng và thời gian. Một số tập dữ liệu, chẳng hạn như nội dung tin tức, có sẵn cả dưới dạng nguồn cấp dữ liệu định kỳ và dưới dạng kho lưu trữ một lần.
10. Bộ dữ liệu được cung cấp như thế nào?
Phương thức phân phối phụ thuộc vào tập dữ liệu. Các tùy chọn bao gồm tệp có cấu trúc, PDF cho tài liệu được quét, nguồn cấp dữ liệu định kỳ cho tin tức và phân phối qua API cho nội dung học thuật và xuất bản. Định dạng phân phối có thể được điều chỉnh phù hợp với quy trình đào tạo của bạn.
11. Bộ dữ liệu văn bản có giá bao nhiêu?
Giá cả phụ thuộc vào danh mục, số lượng, tính độc quyền và điều khoản cấp phép. Hãy chia sẻ yêu cầu của bạn với nhóm của chúng tôi để nhận báo giá phù hợp với dự án của bạn.
12. Làm thế nào để tôi bắt đầu?
Hãy tìm kiếm danh mục phù hợp với trường hợp sử dụng của bạn, sau đó liên hệ với Shaip để nêu rõ yêu cầu. Nhóm của chúng tôi sẽ chia sẻ thông tin chi tiết về bộ dữ liệu, sắp xếp các mẫu và xác định phạm vi giấy phép cho dự án của bạn.
