HoanToan.comHoàn Toàn
Sách, tài liệu và dữ liệu mở

Bộ dữ liệu mở để tập phân tích: chọn nguồn, đọc giấy phép, làm sạch cho đồ án

Kho dữ liệu của trường đại học, Wikidata, dữ liệu chính phủ mở: lấy bộ dữ liệu thật để tập phân tích, làm đồ án, xây hồ sơ năng lực mà không vướng giấy phép.

Two Vietnamese university students sharing a desk in a bright community learning space, one pointing at a laptop with a blank screen, back view, fresh green tones

Cần một bộ dữ liệu thật để tập phân tích, làm đồ án môn học hay dựng hồ sơ năng lực, có ba nhóm nguồn miễn phí đáng tin. Một là kho dữ liệu của trường đại học, như kho dữ liệu học máy lâu đời của Đại học California tại Irvine, nơi các bộ kinh điển được dùng trong giáo trình khắp thế giới. Hai là dữ liệu mở của chính phủ và tổ chức quốc tế: cổng dữ liệu mở của nhiều nước, kho của Ngân hàng Thế giới, trang Our World in Data. Ba là dữ liệu mở cộng đồng như Wikidata và OpenStreetMap. Điều kiện quan trọng nhất: mỗi bộ đi kèm một giấy phép — có bộ dùng tự do không cần ghi công, có bộ bắt ghi công, có bộ chỉ cho dùng vào nghiên cứu, không cho thương mại — và bạn phải đọc trước khi đưa vào sản phẩm.

Ngoài ra còn một số nền tảng thương mại tổ chức thi phân tích dữ liệu có kho dữ liệu lớn cho tải miễn phí với tài khoản; dùng được, nhưng điều khoản mỗi cuộc thi khác nhau và nhiều bộ cấm dùng ngoài cuộc thi. Phần dưới giúp bạn chọn nguồn theo mục đích, đọc giấy phép dữ liệu, làm sạch bằng phần mềm mã nguồn mở, và tránh những bộ dữ liệu chứa thông tin cá nhân mà người mới hay vô tình đem đăng lại.

Chọn nguồn theo mục đích: dữ liệu gì, giấy phép gì, hợp cho ai

Không có nguồn nào hợp cho mọi việc. Bảng xếp theo mục đích hay gặp của sinh viên và người tự học phân tích dữ liệu.

NguồnKiểu dữ liệuGiấy phép thường gặpHợp choLưu ý
Kho dữ liệu học máy của trường đại họcBộ nhỏ, sạch, có mô tả kỹPhần lớn cho dùng lại kèm ghi nguồn; xem từng bộTập thuật toán, bài tập môn họcBộ cũ, ai cũng làm; khó tạo dấu ấn trong hồ sơ năng lực
Cổng dữ liệu mở của chính phủ các nướcGiao thông, môi trường, y tế công cộng, ngân sáchThường là giấy phép mở của chính phủ, cho dùng cả thương mại kèm ghi nguồnĐồ án có tính thực tế, bài phân tích chính sáchĐịnh dạng không đều, cần làm sạch nhiều
Ngân hàng Thế giới, Our World in DataChỉ tiêu theo quốc gia, chuỗi nhiều nămPhần lớn CC BYSo sánh quốc tế, trực quan hoáĐọc ghi chú nguồn từng chỉ tiêu
WikidataDữ liệu có cấu trúc về người, địa danh, tác phẩmCC0, dùng tự do không cần ghi côngTập truy vấn, ghép dữ liệuĐộ đầy đủ không đều; nên kiểm chéo
OpenStreetMapDữ liệu địa lý: đường, điểm, vùngODbL, ghi công và chia sẻ tương tự với dữ liệu phái sinhPhân tích không gian, bản đồDữ liệu vùng nông thôn còn mỏng
Kho dữ liệu kèm bài báo khoa họcDữ liệu gốc của nghiên cứu đã công bốThường CC BY hoặc CC0Tập tái lập kết quả nghiên cứuPhải đọc bài báo đi kèm để hiểu biến

Giấy phép của từng bộ có thể thay đổi giữa các phiên bản; kiểm lại điều kiện hiện hành ở trang mô tả bộ dữ liệu trước khi tải, và lưu một bản chụp trang giấy phép cùng thư mục dữ liệu.

Đọc giấy phép dữ liệu trong năm phút

CC0 hoặc "dành tặng phạm vi công cộng". Dùng tự do, kể cả thương mại, không bắt ghi công. Ghi nguồn vẫn là thói quen tốt để người khác lần lại được.

CC BY hoặc giấy phép mở của chính phủ. Dùng cả thương mại, sửa, gộp, miễn ghi công đúng tên đơn vị phát hành và tên bộ dữ liệu.

ODbL hoặc CC BY-SA. Ghi công, và nếu bạn phát hành lại cơ sở dữ liệu đã chỉnh sửa thì phải mở theo giấy phép tương tự. Biểu đồ, báo cáo làm ra từ dữ liệu thì không bị buộc như vậy.

"Chỉ cho nghiên cứu" hoặc "phi thương mại". Được dùng cho đồ án, luận văn, bài báo; không được đưa vào sản phẩm bán hay dịch vụ thu phí. Nhiều bộ dữ liệu ảnh, văn bản dùng để huấn luyện mô hình thuộc loại này.

Không ghi giấy phép. Không có giấy phép thì mặc định không được phép dùng lại ngoài phạm vi luật cho phép. Hỏi người công bố hoặc chọn bộ khác cho đồ án sẽ đăng công khai.

Bắt đầu trong 15 phút: từ tải dữ liệu tới câu hỏi đầu tiên

Trình tự dưới đây dùng toàn phần mềm miễn phí. Mục tiêu không phải ra kết quả ngay, mà là có một bộ dữ liệu sạch và một câu hỏi đáng trả lời.

  1. Viết ra một câu hỏi cụ thể trước khi tìm dữ liệu, ví dụ "tỷ lệ tiêm chủng trẻ em thay đổi thế nào ở các nước Đông Nam Á trong mười năm". Câu hỏi quyết định bạn cần bộ nào.
  2. Tìm bộ dữ liệu ở nguồn chính thức, đọc trang mô tả: ai công bố, năm nào, mỗi cột nghĩa là gì, giấy phép gì. Tải về định dạng bảng tính hoặc tệp văn bản phân tách bằng dấu phẩy.
  3. Mở bằng LibreOffice Calc nếu bộ nhỏ, hoặc bằng phần mềm mã nguồn mở OpenRefine nếu cần làm sạch nhiều: gộp các cách viết khác nhau của cùng một tên, tách cột, sửa định dạng ngày.
  4. Kiểm nhanh: có bao nhiêu dòng, cột nào thiếu dữ liệu, giá trị nào vô lý (tuổi âm, ngày trong tương lai). Ghi lại mọi chỉnh sửa vào một tệp nhật ký.
  5. Lưu bộ đã làm sạch thành tệp mới, giữ nguyên tệp gốc. Đặt tên có ngày tải.
  6. Vẽ một biểu đồ đơn giản trả lời câu hỏi ban đầu. Nếu cần sâu hơn, ngôn ngữ Python hoặc R, đều là phần mềm tự do, là bước tiếp theo.

Chỉ tải OpenRefine, Python, R, LibreOffice từ trang chính thức của từng dự án. Trình cài đặt mời cài thêm "trình tối ưu hệ thống" hay thanh công cụ là dấu hiệu bạn đang ở trang tải trung gian; thoát ra và tìm lại đúng tên dự án.

Dữ liệu có thông tin cá nhân: đừng vô tình phát tán lại

Không phải bộ dữ liệu nào nằm công khai trên mạng cũng được công bố hợp pháp. Có những tệp danh sách khách hàng, học sinh, người lao động bị rò rỉ rồi lan truyền dưới tên "dữ liệu mẫu để tập". Dùng loại này cho đồ án là tiếp tay phát tán dữ liệu cá nhân, và theo quy định hiện hành về bảo vệ dữ liệu cá nhân, việc xử lý dữ liệu cá nhân không có căn cứ hợp pháp có thể bị xử lý. Dấu hiệu dễ thấy: có cột họ tên, số điện thoại, địa chỉ, số giấy tờ của người thật, và không ai đứng tên công bố.

Bộ dữ liệu chính danh có thông tin về con người thường đã được ẩn danh: bỏ tên, gộp tuổi thành nhóm, làm mờ địa chỉ tới cấp tỉnh. Dù vậy, khi ghép nhiều bộ với nhau vẫn có thể nhận ra từng người. Khi làm đồ án với dữ liệu khảo sát, dữ liệu y tế, đừng ghép thêm dữ liệu khác để "làm giàu" nếu không thật cần, và không đăng lại bộ dữ liệu gốc lên kho mã nguồn công khai.

Nếu bạn tự thu thập dữ liệu, ví dụ khảo sát bạn cùng lớp, hãy xin đồng ý, nói rõ dùng vào việc gì, chỉ hỏi điều cần, và xoá thông tin nhận diện trước khi phân tích. Đây cũng là điểm cộng khi trình bày đồ án trước hội đồng.

Một tình huống: sinh viên năm hai dựng hồ sơ năng lực phân tích dữ liệu

Linh học năm hai ngành kinh tế, muốn có vài bài phân tích để xin thực tập. Ban đầu cô dùng bộ dữ liệu hành khách tàu biển kinh điển mà ai học cũng làm; người hướng dẫn ở câu lạc bộ nhận xét hồ sơ trông giống hàng trăm hồ sơ khác. Cô chuyển sang câu hỏi gần mình hơn: tỷ lệ nữ học đại học ở các nước Đông Nam Á thay đổi ra sao. Cô lấy chuỗi số từ kho dữ liệu của Ngân hàng Thế giới, ghép với số dân theo nhóm tuổi, làm sạch bằng OpenRefine vì tên nước được viết theo hai kiểu. Vướng thứ nhất: vài năm thiếu số; cô ghi rõ trong báo cáo thay vì tự điền. Vướng thứ hai: một bạn gửi cô tệp "danh sách sinh viên toàn trường kèm điểm" để làm thêm phần phân tích; cô từ chối vì đó là dữ liệu cá nhân không ai công bố. Kết quả: một bài phân tích sáu trang, ba biểu đồ, ghi nguồn và giấy phép ở cuối, cùng tệp nhật ký làm sạch. Nhà tuyển dụng hỏi về nhật ký đó nhiều hơn về biểu đồ.

Bài học: bộ dữ liệu càng gần một câu hỏi thật thì bài phân tích càng có giá trị; còn việc ghi nguồn, ghi giấy phép, ghi nhật ký làm sạch là thứ phân biệt người làm nghiêm túc với người chỉ chạy mã mẫu.

Đưa bài phân tích lên hồ sơ năng lực: trình bày cho người đọc tin

Người tuyển dụng hay giảng viên đọc hồ sơ năng lực không có nhiều thời gian. Mỗi bài nên mở bằng câu hỏi bạn đặt ra và câu trả lời ngắn nhất bạn tìm được, rồi mới tới cách làm. Tiếp theo là ba thứ chứng minh bạn làm thật: nguồn dữ liệu kèm giấy phép, tệp nhật ký các bước làm sạch, và phần hạn chế — dữ liệu thiếu ở đâu, kết luận không áp được cho trường hợp nào. Phần hạn chế viết thẳng thắn thường gây ấn tượng hơn một biểu đồ đẹp.

Nếu đăng mã và dữ liệu lên kho mã nguồn công khai, chỉ đăng lại bộ dữ liệu khi giấy phép cho phép phân phối lại; với bộ không cho, đăng mã kèm hướng dẫn tải dữ liệu từ nguồn gốc. Thêm một tệp ghi giấy phép cho chính mã của bạn, ví dụ một giấy phép mã nguồn mở phổ biến, để người khác biết họ được dùng lại tới đâu.

Đừng chép bài phân tích của người khác trên các nền tảng chia sẻ rồi đổi tên. Bộ dữ liệu càng nổi tiếng thì bài phân tích về nó càng nhiều, người chấm nhận ra rất nhanh. Một câu hỏi riêng, dù nhỏ, luôn đáng giá hơn một bài lặp lại hoàn hảo.

Câu hỏi thường gặp

Bộ dữ liệu mở có được dùng cho sản phẩm thương mại không?

Tuỳ giấy phép. Bộ theo CC0, CC BY hay giấy phép mở của chính phủ thường cho dùng thương mại kèm điều kiện ghi công; bộ ghi phi thương mại hoặc chỉ cho nghiên cứu thì không. Đọc trang giấy phép của từng bộ và kiểm lại điều kiện hiện hành.

Wikidata khác Wikipedia ở chỗ nào khi làm đồ án dữ liệu?

Wikidata lưu dữ liệu có cấu trúc như năm sinh, toạ độ, dân số dưới dạng truy vấn được, và phát hành theo CC0 nên dùng lại không cần ghi công. Wikipedia là bài viết chữ theo giấy phép CC BY-SA. Dữ liệu Wikidata vẫn nên được kiểm chéo.

OpenRefine có miễn phí và cần cài đặt phức tạp không?

OpenRefine là phần mềm mã nguồn mở, miễn phí, chạy trên máy của bạn và mở giao diện trong trình duyệt. Tải từ trang chính thức của dự án, giải nén và chạy; dữ liệu không bị gửi lên máy chủ bên ngoài.

Dùng bộ dữ liệu của các cuộc thi phân tích dữ liệu cho hồ sơ năng lực có được không?

Nhiều bộ chỉ được dùng trong khuôn khổ cuộc thi theo điều khoản riêng. Đọc điều khoản trước; nếu không rõ, chọn bộ từ nguồn mở có giấy phép rõ ràng để đăng công khai cho yên tâm.

Thấy tệp danh sách có họ tên, số điện thoại trên mạng thì có nên dùng để tập không?

Không nên. Đó có thể là dữ liệu bị rò rỉ, dùng lại là tiếp tay phát tán dữ liệu cá nhân và có thể vi phạm quy định về bảo vệ dữ liệu cá nhân. Hãy chọn bộ dữ liệu đã ẩn danh từ nguồn chính danh.

Ghi nguồn bộ dữ liệu trong đồ án thế nào cho đủ?

Ghi tên đơn vị công bố, tên bộ dữ liệu, phiên bản hoặc ngày tải, giấy phép, và mô tả ngắn các bước làm sạch bạn đã làm. Cách ghi này giúp người chấm tái lập được kết quả và cho thấy bạn tôn trọng điều kiện dùng lại.

Cần tư vấn cụ thể cho trường hợp của bạn?

Chúng tôi sẽ liên hệ trong vòng 24 giờ.

Đăng ký tư vấn ngay

Bài viết liên quan

Bạn cần hỗ trợ thêm?

Để lại thông tin, chúng tôi sẽ liên hệ trong 24 giờ.

hoặc
Gọi ngay 0926 138 138