Khi dữ liệu im lặng: Lỗ hổng cấu trúc trong phòng phân tích F1

Tôi ngồi trước màn hình lúc 6 giờ sáng theo giờ Sydney, mở một tệp dữ liệu mà ban kỹ thuật gửi qua đêm. Cấu trúc tệp hoàn hảo. Tiêu đề cột đầy đủ: số vòng đua, thời gian vòng, hợp chất lốp, nhiệt độ mặt đường, tốc độ tối đa ở từng góc cua. Mọi thứ nằm đúng chỗ. Nhưng khi tôi kéo xuống, không có một con số nào. Bảng biểu trống rỗng. Và điều khiến tôi lạnh người không phải là sự trống rỗng đó, mà là việc nó đã đi qua ba lớp kiểm tra tự động mà không ai dừng lại hỏi một câu.

Đó là khoảnh khắc tôi hiểu ra một sự thật về ngành phân tích F1 hiện đại: chúng ta đã xây dựng những hệ thống đủ giỏi để tạo ra câu trả lời, nhưng chưa đủ khôn để biết khi nào câu trả lời đó vô nghĩa. Một bảng dữ liệu trống, nếu được sinh ra đúng cấu trúc, sẽ được hệ thống phía sau đọc như một kết luận hợp lệ. Và đó là loại sai sót nguy hiểm nhất trong một mùa giải mà hàng trăm quyết định chiến lược mỗi cuối tuần đều dựa trên dữ liệu.

Trong mười năm theo dõi đường đua và năm năm đứng trong bộ máy vận hành thể thao, tôi chưa từng thấy một đội nào thua vì thiếu dữ liệu. Tôi đã thấy nhiều đội thua vì tin vào dữ liệu sai. Sự khác biệt giữa hai điều đó là toàn bộ câu chuyện hôm nay.

Bối cảnh: Khi dòng tiền chảy vào những đường ống không ai kiểm tra

Để hiểu tại sao một bảng tính trống lại có thể gây hại, cần nhìn vào cấu trúc vận hành của một đội F1 hiện đại. Một đội hạng trung tiêu khoảng 130 đến 150 triệu USD mỗi mùa dưới trần chi phí, trong đó phần dành cho phân tích dữ liệu, mô phỏng và phòng kỹ thuật đã tăng đều qua từng năm kể từ khi giới hạn ngân sách được áp dụng.

Số tiền đó nuôi một chuỗi xử lý gồm nhiều tầng. Ở tầng đầu, hàng trăm cảm biến trên xe thu tín hiệu ở tần suất cao. Ở tầng hai, dữ liệu được lọc, chuẩn hoá và gắn thẻ. Ở tầng ba, các mô hình tính toán biến nguyên liệu thô thành khuyến nghị: nên dùng lốp nào cho chặng thứ hai, có nên kéo dài stint đầu tiên, ngưỡng nhiên liệu nào là an toàn. Ở tầng cuối, một con người ra quyết định.

Điều mà ít người bên ngoài nhận ra là tầng hai và tầng ba vận hành gần như im lặng. Chúng không tranh luận, không phản biện, không đặt câu hỏi. Chúng tiếp nhận đầu vào và trả về đầu ra. Khi đầu vào rỗng nhưng vẫn đúng định dạng, chúng không báo lỗi. Chúng chỉ đơn giản là nói: không có vấn đề gì cần xử lý.

Trong bối cảnh kỳ chuyển nhượng, khi các đội đang tái cấu trúc nhân sự kỹ thuật và xây dựng đội hình cho mùa tiếp theo, áp lực lên tốc độ ra quyết định càng lớn. Và khi con người bị ép về thời gian, họ có xu hướng tin vào những hệ thống trông có vẻ chuyên nghiệp thay vì đọc từng dòng dữ liệu thô.

Phân tích: Cơ chế của một thất bại im lặng

Loại lỗi tôi đang nói đến có một đặc điểm kỹ thuật đáng sợ: nó không phá vỡ hệ thống, nó chỉ làm hệ thống nói dối một cách lịch sự. Trong thuật ngữ vận hành, đây là thất bại kiểu "im lặng" – hệ thống trả về một đối tượng hợp lệ về mặt cấu trúc, với tất cả các trường được khai báo đúng tên, nhưng không có giá trị thực nào bên trong.

Hãy hình dung một mô hình dự báo chiến lược pit-stop. Đầu vào của nó là dữ liệu stint của cả mười đội trong buổi đua tự do. Nếu một trong các nguồn cấp dữ liệu đó bị lỗi ở tầng trích xuất và trả về danh sách rỗng, mô hình vẫn sẽ chạy. Nó sẽ tính toán trên bảy nguồn còn lại, cộng thêm một khoảng trống không được đánh dấu. Kết quả đầu ra sẽ là một khuyến nghị trông hoàn toàn bình thường. Không cảnh báo đỏ nào xuất hiện.

Vấn đề không nằm ở chỗ dữ liệu thiếu, mà ở chỗ hệ thống được thiết kế để không phân biệt được giữa "không có dữ liệu" và "không có vấn đề". Đây là hai trạng thái có ý nghĩa hoàn toàn trái ngược nhau, nhưng trong nhiều pipeline chúng được mã hoá bằng cùng một giá trị.

Tôi đã từng chứng kiến một trường hợp tương tự khi làm việc với mô hình dòng tiền cho một câu lạc bộ trong giai đoạn đại dịch. Một trường chỉ số thành viên bị để trống do lỗi đồng bộ, và báo cáo tự động vẫn tổng hợp số liệu như thể câu lạc bộ vừa mất một phần lớn người đăng ký trong một tuần. May mắn là người đọc báo cáo kịp nhận ra con số vô lý. Nhưng nếu con số đó nhỏ hơn, không ai nhìn thấy.

Điều đáng lo là cơ chế này lan truyền theo chuỗi. Một trường bị lỗi ở tầng trích xuất thực thể sẽ kéo theo các trường phụ thuộc cũng rỗng. Một lỗi đơn lẻ ở đầu chuỗi có thể làm sụp đổ toàn bộ nhánh phân tích phía sau. Và bởi vì các trường phụ thuộc được định nghĩa là "suy ra từ" trường gốc, chúng không tạo ra tín hiệu lỗi riêng – chúng chỉ trở nên trống một cách âm thầm.

Trong một chặng đua thực tế, hệ quả là có thật. Một đội có thể lên kế hoạch hai stop cho một đường đua mà thực chất chỉ cần một stop. Một tay đua có thể bị yêu cầu tiết kiệm nhiên liệu ở giai đoạn không cần thiết. Một quyết định lốp có thể dựa trên nhiệt độ mặt đường chưa bao giờ được đo. Không ai thấy sai vì tất cả các báo cáo đều trông đúng.

Đây cũng là lý do vì sao các thỏa thuận tài trợ và bản quyền truyền thông ngày càng phụ thuộc vào số liệu – và cũng ngày càng dễ bị tổn thương trước loại lỗi này. Khi một nhà tài trợ ký hợp đồng dựa trên mô hình đo lường mức độ hiển thị thương hiệu, một trường dữ liệu trống có thể làm lệch cả một đánh giá thương mại nhiều triệu đô.

Góc phản trực giác: Chúng ta đang tối ưu sai chỗ

Ngành phân tích thể thao đang chạy đua theo một hướng đã trở nên gần như mặc định: thêm dữ liệu, thêm cảm biến, thêm mô hình. Mỗi mùa, các đội mua thêm dung lượng tính toán, thêm nguồn dữ liệu, thêm bảng điều khiển. Nhưng gần như không ai chi tiền để trả lời câu hỏi khiêm tốn nhất: điều gì xảy ra khi một trong những nguồn đó im lặng?

Đây là điểm mù phản trực giác của cả ngành. Sự tập trung vào việc tăng khối lượng dữ liệu tạo ra cảm giác an toàn, nhưng đồng thời làm tăng số lượng điểm có thể thất bại âm thầm. Mỗi nguồn mới là một cơ hội mới để một trường trống lọt qua. Chúng ta đang xây những tòa nhà cao hơn trên một nền móng chưa từng được kiểm tra đến nơi.

"Con số không bao giờ nói dối, nhưng người đọc báo cáo thì có." Câu đó tôi vẫn giữ. Nhưng tôi đã phải bổ sung một phiên bản mới cho nó: hệ thống cũng có thể nói dối, ngay cả khi nó không có ý định đó.

Có một lý do văn hoá khiến vấn đề này khó được thừa nhận. Trong một ngành mà mọi tuyên bố đều bị chất vấn, việc thừa nhận rằng công cụ của mình có thể sai lại mang tính đe dọa danh tính. Một kỹ sư phân tích không muốn nói với sếp rằng mô hình của anh ta đã im lặng suốt ba cuối tuần. "Một bản hợp đồng cấp thấp cũng có thể giấu một vụ bê bối cấp cao." Điều đó đúng với cả những dòng code không ai nhìn lại.

Hướng sửa chữa không nằm ở việc thêm thuật toán phức tạp hơn. Nó nằm ở một thay đổi nhỏ nhưng mang tính hệ thống: buộc hệ thống phải thất bại lớn tiếng thay vì thất bại im lặng. Nếu danh sách thông tin không được phép rỗng, hãy đặt một rào chắn cứng để nó không bao giờ rỗng. Nếu trường thực thể phụ thuộc vào trường gốc, hãy chặn đầu ra khi trường gốc trống. Đây là những biện pháp kỹ thuật đơn giản, nhưng chúng đòi hỏi một thay đổi tư duy trước: chấp nhận rằng công cụ của mình có thể thất bại trước khi nó thực sự thất bại.

Có một điểm nữa mà tôi học được từ chính trải nghiệm của mình. Trong một dự án đánh giá tác động tài chính, tôi từng dành quá nhiều thời gian để làm cho mô hình hoàn hảo đến mức nộp trễ ba tuần. Ban lãnh đạo không hài lòng, dù nội dung có giá trị. "Tôi không tin vào may mắn. Tôi tin vào những con số được kiểm chứng ba lần." Nhưng ba lần kiểm chứng vẫn vô nghĩa nếu lần kiểm tra đầu tiên không hỏi đúng câu: tệp này có thực sự chứa nội dung không?

Điều đáng suy nghĩ phía trước

Khi các đội bước vào mùa giải tiếp theo với nhiều nguồn dữ liệu hơn, nhiều mô hình hơn và ít thời gian phản biện hơn, giá trị lớn nhất có thể không nằm ở việc phân tích nhanh hơn. Nó có thể nằm ở việc biết khi nào nên dừng lại và nói: dữ liệu này không đủ để kết luận.

Sự trung thực với giới hạn của dữ liệu là một lợi thế cạnh tranh chưa được định giá. Trong khi phần lớn ngành đang chạy đua để có nhiều câu trả lời hơn, người chiến thắng có thể là người đầu tiên dám nói rằng mình chưa có câu trả lời. Bởi vì trong một cuộc đua mà mọi quyết định đều dựa trên những con số, thứ nguy hiểm nhất không phải là con số sai, mà là con số không tồn tại nhưng được đọc như thể nó có.