Vì sao hầu hết các mô hình toán học dự báo đều thất bại thảm hại trong năm 2016

Đòn giáng bất ngờ vào giới phân tích toán học

Mô hình xác suất toán học thường được ca ngợi là công cụ tối tân để phác họa tương lai nhờ vào nguồn dữ liệu lịch sử. Thế nhưng, kỳ bầu cử Tổng thống Mỹ năm 2016 đã tạo ra một cú sốc lớn đối với uy tín của các chuyên gia toán học và khoa học dữ liệu hàng đầu. Những cái tên đình đám như Sam Wang thuộc Đại học Princeton hay Nate Silver từ trang FiveThirtyEight đều đưa ra các thuật toán phức tạp với kết luận chắc nịch rằng phần thắng hoàn toàn thuộc về một phía. Trái lại, thực tế diễn ra lại đi ngược lại hoàn toàn, biến các mô hình thông minh này thành tâm điểm của sự châm biếm từ công chúng. Nguyên nhân nào khiến hệ thống dự báo xác suất sụp đổ nghiêm trọng đến vậy? Liệu khiếm khuyết xuất phát từ những con số thăm dò hay ẩn sâu trong bản chất logic của mô hình?

Trớ trêu thay, nhân vật duy nhất dự đoán chính xác diễn biến cuộc bầu cử năm ấy lại không phải là những tên tuổi kỳ cựu như Nate Silver, Sam Wang hay Nate Cohn, mà chính là Donald Trump. Ông đã phớt lờ mọi nhận định từ các học giả uy tín để tự tin nắm bắt cơ hội mong manh thông qua khẩu hiệu vận động $Brexit Plus$. Bằng chiến lược khôn ngoan, ông lần lượt thâu tóm các bang Vành đai Mặt trời gồm Florida và North Carolina, trước khi tạo ra kỳ tích khi phá vỡ “bức tường lửa” truyền thống của Đảng Dân chủ ở ba bang thuộc Vành đai Rỉ sét gồm Wisconsin, Michigan cùng với Pennsylvania.

Sự kiện này làm chấn động toàn bộ cộng đồng khoa học dữ liệu. Dù trước bầu cử, nhiều người đã nhận định rằng khoa học xây dựng mô hình dự đoán vẫn còn một chặng đường dài phải đi, nhưng khoảng cách thực tế đến độ chính xác còn xa hơn bất kỳ ai có thể hình dung. Việc mổ xẻ chi tiết từng dự đoán cấp tiểu bang của các mô hình lúc này dường như không còn nhiều ý nghĩa, bởi không có mô hình nào tiến gần đến kết quả thực tế. Sẽ mất một thời gian rất dài trước khi ngành dự báo bầu cử có thể lấy lại niềm tin từ công chúng.

Trận chiến xác suất: Sam Wang đối đầu Nate Silver

Quay ngược thời gian về giai đoạn sát ngày bầu cử, hai biểu tượng trong lĩnh vực dự báo là Sam Wang từ Dự án Bầu cử Princeton ($PEC$) và Nate Silver của trang $FiveThirtyEight$ đã vướng vào những tranh cãi nảy lửa.

• Sam Wang dự đoán khả năng chiến thắng của Clinton lên tới hơn 99%.
• Nate Silver đưa ra con số khiêm tốn hơn nhiều, dao động ở mức 65% đến 72%.
• Hầu hết các mô hình khác, bao gồm $The New York Times Upshot$ và các trang cá cược, đặt tỷ lệ thắng của Clinton ở mức giữa: khoảng 85%.

Điểm thú vị nằm ở chỗ cả hai mô hình của $PEC$ và $FiveThirtyEight$ đều chung nhận định rằng dữ liệu tổng hợp phản ánh việc Clinton đang tạo khoảng cách dẫn trước khoảng 3% trên quy mô toàn quốc. Các dự đoán về lượng phiếu đại cử cử dành cho bà cũng rất tương đồng, với 307 phiếu theo $PEC$ và 302 phiếu theo $FiveThirtyEight$, vượt qua mốc chiến thắng tối thiểu là 270 phiếu.

Sự chênh lệch khủng khiếp về xác suất (99% so với 65%) trong khi lại tương đồng về số phiếu đại cử cử dự kiến đã làm nổi bật một vấn đề toán học then chốt: Gộp kết quả thăm dò một cách chính xác và gán một ước tính xác suất cho chiến thắng là hai bài toán hoàn toàn khác nhau. Các nhà dự báo làm rất tốt việc đầu tiên, nhưng toán học mô hình hóa xác suất sự kiện thì vẫn còn rất sơ khai.

“Vật chất tối” trong thăm dò ý kiến và sai số hệ thống

Mặc dù mô hình của Nate Silver có thể được xem xét dưới góc độ thể hiện mức độ bất định cao hơn, nhưng thực tế là không ai trong số các nhà tạo lập mô hình dự báo đúng chiến thắng của ứng viên đảng Cộng hòa. Cuộc lội ngược dòng này đã tận dụng triệt để những kẽ hở của hệ thống cử tri đoàn, dù tổng số phiếu phổ thông có phần nghiêng về phía đối thủ.

Vấn đề căn cơ hơn đòi hỏi giới toán học phải tiến hành đại tu toàn bộ cấu trúc logic của mình. Đó chính là sự tồn tại của một sai số thăm dò hệ thống chưa từng được nhận diện — một dạng “vật chất tối” ẩn khuất trong các cuộc khảo sát dư luận. Sai số này đã bỏ sót lượng lớn cử tri thực sự ủng hộ Trump tại các bang chiến trường, với độ lệch từ 2% đến 6%.

Mức độ bất định thực sự bao gồm cả những yếu tố “chúng ta không biết là mình không biết”. Trên thực tế, biên độ vô hình này lớn hơn rất nhiều so với tính toán ban đầu của giới thống kê. Trong lúc các nhà khoa học dữ liệu đangay hoay tìm kiếm lời giải thích, một phương pháp dự đoán kinh điển dựa trên 13 câu hỏi đơn giản của một giáo sư — người đã đoán đúng toàn bộ các kỳ bầu cử từ năm 1982 — lại tiếp tục khẳng định sự chính xác của mình.

Toán học đằng sau các mô hình dự báo

Dưới lăng kính toán học, việc thiết lập một con số xác suất cụ thể đòi hỏi tuân thủ các quy trình chuẩn hóa. Khi vận hành một mô hình, các bước thường bao gồm:

• Tạo ra chênh lệch giữa các tỷ lệ phần trăm thăm dò, ví dụ: $\Delta = 3\%$.
• Tính toán sai số kỳ vọng của hệ thống, ví dụ: $\sigma = 0.8\%$.
• Đưa vào hàm phân phối xác suất và thu được kết quả: $P \approx 92\%$.

Cách tiếp cận này dựa trên nền tảng giả định rằng mọi tham số đầu vào hoàn toàn chính xác tuyệt đối, chẳng hạn như việc Sam Wang coi tỷ lệ trung vị từ các khảo sát gần nhất là chân lý. Dẫu vậy, để xác định khoảng sai số ($margin of error$) cho chính xác suất vừa tìm được, người ta buộc phải gán trọng số cho vô số giả định tiềm ẩn khác mà hệ thống đã bỏ quên.

Bản chất của một giả định là một lập luận hợp lý nhưng chưa qua kiểm chứng, đồng nghĩa với việc quan điểm trái chiều cũng sở hữu một xác suất đúng nhất định. Do đó, việc xác định xác suất chiến thắng trong hàng loạt mô hình thay thế là cần thiết để làm rõ biên độ sai lệch. Dù cấu trúc siêu mô hình ($meta-modeling$) có thể tối ưu hóa độ chính xác, nhưng nếu thiếu hụt nguồn dữ liệu thực nghiệm lịch sử, trọng số gán cho các giả định này vẫn mang nặng tính chủ quan.

Để đạt độ chính xác tuyệt đối, chúng ta cần một mô hình phức tạp kết hợp nhiều thuộc tính hơn nữa, dựa trên dữ liệu của hàng trăm kỳ bầu cử tổng thống. Nhưng lịch sử nước Mỹ không cho phép điều đó vì số lượng kỳ bầu cử là quá ít. Việc gộp các mô hình hiện có lại là cách mô phỏng tốt nhất cho một siêu mô hình mà chúng ta có thể làm ngày nay.

Lỗ hổng chết người và bài học cho lý thuyết xác suất

Trước năm 2016, lịch sử từng ghi nhận những khoảng hụt trong dự báo của Sam Wang, tiêu biểu là năm 2010 khi ông dự đoán đảng Cộng hòa chỉ giành thêm $53 \pm 2$ ghế tại Hạ viện, trong khi thực tế con số lên tới 63 ghế. Ngược lại, việc mô hình của $FiveThirtyEight$ nới rộng khoảng bất định quá mức cũng thiếu đi những cơ sở thực tiễn vững chắc.

Phương án tối ưu mà cộng đồng toán học có thể áp dụng cho các hệ thống xác suất phức tạp là tích hợp nhiều mô hình lại với nhau và lọc bỏ các giá trị ngoại lệ ($outliers$) — cụ thể ở đây là mức dự báo 70% từ $FiveThirtyEight$ và 99% từ $PEC$. Giải pháp này tương tự cách các nhà phân tích tổng hợp các cuộc thăm dò ý kiến công chúng bằng cách loại bỏ các dữ liệu nhiễu loạn.

Sự đổ vỡ của các dự báo trong năm 2016 là minh chứng rõ ràng rằng thống kê học khi áp dụng vào các cấu trúc xã hội vẫn còn non trẻ. Bất kỳ công thức toán học nào, dù được thiết kế tinh vi đến đâu, nếu chỉ bám lấy lớp dữ liệu bề mặt mà lờ đi những biến động hệ thống cùng các sự kiện bất định, đều có nguy cơ tạo ra những phán đoán sai lầm mang tính lịch sử.

Nhìn rộng ra, hiện tượng này phản ánh một xu hướng phổ biến trong thời đại số: sự cuồng tín vào dữ liệu lớn mà quên đi giới hạn nhận thức của con người. Trong các lĩnh vực từ tài chính đến quản trị xã hội, niềm tin mù quáng vào các chỉ số kỹ thuật đôi khi che mờ những biến động tâm lý xã hội sâu sắc, đòi hỏi các nhà khoa học phải duy trì sự khiêm tốn trước độ phức tạp của thế giới thực.

Bài viết tham khảo Quanta Magazine (quantamagazine.org).