Nâng cao các mô hình dự đoán chăm sóc sức khỏe với AI tạo sinh
Một nghiên cứu trường hợp về phát hiện viêm phổi và giai đoạn ung thư
Tổng Quan Dự Án
Trong lĩnh vực chăm sóc sức khỏe đang phát triển nhanh chóng, việc sử dụng AI tạo sinh, đặc biệt là Mô hình ngôn ngữ lớn (LLM), để dự đoán tình trạng bệnh từ các báo cáo lâm sàng đánh dấu một bước tiến đáng kể. Khách hàng, một người tiên phong trong phân tích sức khỏe, đã bắt tay vào sứ mệnh tinh chỉnh các mô hình dự đoán tình trạng bệnh của họ. Bằng cách tận dụng cơ sở dữ liệu MIMIC CXR nguồn mở và kết hợp các dự đoán AI tạo sinh để phân tích ban đầu, sau đó là xác thực thủ công bằng Label Studio, mục tiêu là tăng độ chính xác và độ tin cậy của mô hình cho các phân tích báo cáo lâm sàng, đặc biệt là các báo cáo X quang.
Những thách thức
Việc tích hợp các dự đoán AI tạo sinh vào quy trình chăm sóc sức khỏe đặt ra nhiều thách thức:
Truy cập và bảo mật dữ liệu
Việc bảo mật quyền truy cập vào các tập dữ liệu y tế nguồn mở chất lượng cao như MIMIC-CXR đòi hỏi một quy trình cấp phép nghiêm ngặt, đảm bảo tuân thủ các tiêu chuẩn về quyền riêng tư và đạo đức.
Dự đoán chính xác
Kết quả đầu ra ban đầu từ các mô hình AI tạo sinh đôi khi không chính xác trong việc dự đoán tình trạng bệnh, đòi hỏi phải kiểm tra thủ công để tăng độ chính xác.
Xác định tình trạng bệnh phức tạp
Việc phân loại chính xác tình trạng bệnh từ ngôn ngữ phức tạp của các báo cáo lâm sàng, đặc biệt là khi sử dụng AI tạo ra, đặt ra một rào cản đáng kể.
Chất lượng chú thích
Để đảm bảo chú thích chính xác, chất lượng cao trong công cụ Label Studio đòi hỏi kiến thức chuyên môn và hiểu biết về tình trạng bệnh lý.
Dung dịch
Shaip đã áp dụng một chiến lược toàn diện để giải quyết những thách thức này:
- Chứng nhận hợp lý: Nhóm đã nhanh chóng điều hướng quá trình cấp phép truy cập MIMIC-CXR, chứng minh hiệu quả và cam kết thực hiện các hoạt động nghiên cứu có đạo đức.
- Phát triển hướng dẫn: Đã phát triển các hướng dẫn sâu sắc cho trình xác thực thủ công để đảm bảo tính nhất quán và chất lượng trong việc chú thích các dự đoán LLM.
- Chú thích của chuyên gia về dự đoán của AI: Sử dụng Label Studio để xác thực và hiệu chỉnh thủ công các dự đoán của LLM một cách tỉ mỉ, với sự hỗ trợ của chuyên gia y tế.
- Chỉ số Hiệu suất: Thông qua phân tích chi tiết, Shaip đã tính toán các số liệu hiệu suất của LLM như tính nhất quán, độ chính xác, khả năng thu hồi và điểm F1, cho phép cải tiến liên tục.
Kết quả
- Nâng cao độ chính xác trong việc dự đoán tình trạng bệnh tật từ các báo cáo chụp X-quang.
- Phát triển của một sự thật thực tế chất lượng cao tập dữ liệu để phát triển sản phẩm trong tương lai và đánh giá các dự đoán AI tạo ra.
- Cải thiện sự hiểu biết xác định tình trạng bệnh, tạo điều kiện cho việc dự đoán đáng tin cậy hơn.
Trường hợp sử dụng 1: Xác thực mô hình học máy
kịch bản: Tăng cường độ chính xác dự đoán viêm phổi bằng AI tạo sinh Trong trường hợp này, một mô hình AI tạo sinh đã sàng lọc qua các báo cáo chụp X-quang ngực để phát hiện các dấu hiệu của bệnh viêm phổi. Một báo cáo ghi chú "Độ mờ tăng ở thùy dưới bên phải, gợi ý về quá trình lây nhiễm" đã thúc đẩy AI phân loại ban đầu là "Không chắc chắn" do cách diễn đạt mơ hồ của báo cáo.
Quá trình xác nhận:
- Một chuyên gia y tế đã kiểm tra báo cáo trong Label Studio, tập trung vào phần văn bản được AI đánh dấu.
- Bằng cách đánh giá bối cảnh lâm sàng và áp dụng kiến thức về X-quang, chuyên gia đã phân loại lại báo cáo thành kết quả “Dương tính” chắc chắn là viêm phổi.
- Sự điều chỉnh của chuyên gia này đã được tích hợp trở lại vào mô hình AI, tạo điều kiện cho quá trình học tập và tinh chỉnh liên tục của nó.
Kết quả:
- Độ chính xác của mô hình được cải thiện
- Cải thiện độ chính xác và khả năng thu hồi của Chỉ số hiệu suất
Trường hợp sử dụng 2: Tạo tập dữ liệu Ground Truth
kịch bản: Tạo bộ dữ liệu chuẩn cho giai đoạn ung thư TNM bằng AI tạo sinh
Với mục đích thúc đẩy phát triển sản phẩm về tiến triển ung thư, khách hàng đã tìm cách tập hợp một bộ dữ liệu thực tế toàn diện. Bộ dữ liệu này sẽ đánh giá chuẩn mực đào tạo và đánh giá các mô hình AI mới để dự đoán chính xác giai đoạn TNM của ung thư từ các tường thuật lâm sàng.
Quy trình tạo tập dữ liệu:
- Một loạt các báo cáo liên quan đến ung thư, bao gồm các phát hiện bệnh lý và tổng quan về chẩn đoán, đã được thu thập.
- Mô hình AI tạo ra dự đoán ban đầu về giai đoạn TNM cho từng báo cáo, tận dụng các mẫu và kiến thức đã học được.
- Các chuyên gia y tế đã xem xét các dự đoán do AI tạo ra để đảm bảo độ chính xác, sửa lỗi và bổ sung thông tin trong trường hợp dự đoán AI không đầy đủ hoặc không chính xác.
Kết quả:
- Tạo bộ dữ liệu thực tế chất lượng cao.
- Nền tảng cho các sản phẩm tương lai nhằm cải tiến các mô hình thế hệ tiếp theo về chẩn đoán và phân loại ung thư.
Làm việc với Shaip đã cách mạng hóa cách tiếp cận của chúng tôi đối với dự đoán bệnh tật. Độ chính xác và độ tin cậy của các mô hình của chúng tôi đã được cải thiện đáng kể với các chú thích được thực hiện bởi các chuyên gia trong lĩnh vực của Shaip. Nhờ vào quy trình xác thực tỉ mỉ của họ.
