Chìa khóa để thành công trong lĩnh vực machine learning (học máy) hoặc trở thành một nhà khoa học dữ liệu thành công là thực hành với các loại bộ dữ liệu (dataset) khác nhau. Nhưng việc có được một tập dữ liệu phù hợp cho từng loại dự án học máy là một nhiệm vụ khó khăn. Trong chủ đề này, chúng ta sẽ xem qua các nguồn datasets có sẵn (và miễn phí) từ đó bạn có thể dễ dàng sử dụng cho dự án của mình.
Trước khi đi đến các nguồn của tập dữ liệu học máy, chúng ta hãy xem dataset là gì và tại sao ta lại cần dataset.
Nội dung
- Dataset – tập dữ liệu là gì?
- Tại sao cần dataset trong machine learning?
- Các loại dataset dùng trong học máy
- Bộ dữ liệu huấn luyện – training set
- Bộ xác thực – Validation set
- Bộ dữ liệu thử nghiệm – testing set
- Các nguồn dataset dành cho Machine Learning
- Top 10 các nguồn datasets cho machine learning
- Các trang tổng hợp nguồn datasets
- Kết luận
Dataset – tập dữ liệu là gì?
Dataset là một tập hợp dữ liệu. Nói cách khác, dataset tương ứng với nội dung của một bảng cơ sở dữ liệu hoặc một ma trận dữ liệu thống kê, trong đó mỗi cột của bảng đại diện cho một biến cụ thể và mỗi hàng tương ứng với một thành viên nhất định của tập dữ liệu được đề cập.
Trong các dự án Máy học, chúng ta cần một tập dữ liệu đào tạo. Đây là tập dữ liệu thực tế được sử dụng để huấn luyện mô hình thực hiện các hành động khác nhau.
Tại sao cần dataset trong machine learning?
Machine learning phụ thuộc rất nhiều vào dữ liệu, không có dữ liệu thì AI (Artificial Intelligence – trí tuệ nhân tạo) không thể học được. Đó là khía cạnh quan trọng nhất giúp cho việc đào tạo thuật toán có thể thực hiện được. Cho dù bạn có một team AI với tập hợp nhiều nhân tài hay quy mô tập dữ liệu của bạn đến đâu, nếu tập dữ liệu của bạn không đủ tốt, toàn bộ dự án AI của bạn sẽ thất bại.
Trong quá trình phát triển AI, chúng ta luôn dựa vào dữ liệu. Từ đào tạo, điều chỉnh, lựa chọn mô hình đến kiểm tra, chúng ta sử dụng ba bộ dữ liệu khác nhau: bộ đào tạo (training set), bộ xác thực (validation set) và bộ thử nghiệm (testing set). Validation set được sử dụng để chọn và điều chỉnh mô hình machine learning cuối cùng.
Bạn có thể nghĩ rằng việc thu thập dữ liệu là đủ nhưng thực tế thì ngược lại. Trong mọi dự án AI, việc phân loại và gắn nhãn các tập dữ liệu chiếm phần lớn thời gian của chúng ta, đặc biệt là các tập dữ liệu đủ chính xác để phản ánh tầm nhìn thực tế về thị trường hay thế giới.
Các loại dataset dùng trong học máy
Có 3 loại datasets dùng trong machine learning:
Bộ dữ liệu huấn luyện – training set
Tập dữ liệu huấn luyện là tập dùng để huấn luyện thuật toán hiểu cách áp dụng các khái niệm như mạng nơ-ron, để học và tạo ra kết quả. Nó bao gồm cả dữ liệu đầu vào và đầu ra dự kiến.
Tập hợp đào tạo chiếm phần lớn trong tổng số dữ liệu, khoảng 60%. Trong thử nghiệm, các mô hình phù hợp với các thông số trong một quá trình được gọi là điều chỉnh trọng lượng (adjusting weights).
Bộ xác thực – Validation set
Để mô hình được đào tạo, nó cần được đánh giá định kỳ và đó chính xác là mục đích của bộ xác thực (valiation set). Thông qua việc tính toán tổn thất (tức là tỷ lệ lỗi) mà mô hình mang lại trên bộ xác thực tại bất kỳ điểm nào đã cho, chúng ta có thể biết độ chính xác của nó. Đây là bản chất của đào tạo. Sau đó, mô hình sẽ điều chỉnh các tham số của nó dựa trên kết quả đánh giá thường xuyên trên valiation set.
Bộ xác thực chiếm khoảng 20 phần trăm phần lớn dữ liệu được sử dụng.
Bộ dữ liệu thử nghiệm – testing set
Tập dữ liệu thử nghiệm được sử dụng để đánh giá thuật toán của bạn được đào tạo tốt như thế nào với tập dữ liệu đào tạo. Trong các dự án AI, chúng ta không thể sử dụng tập dữ liệu đào tạo trong giai đoạn thử nghiệm vì thuật toán sẽ biết trước kết quả mong đợi không phải là mục tiêu của chúng tôi.
Bộ kiểm tra đại diện cho 20% dữ liệu. Bộ thử nghiệm được đảm bảo là dữ liệu đầu vào được nhóm lại cùng với các đầu ra chính xác đã được xác minh, nói chung là do con người xác minh.
Top 10 các nguồn datasets cho machine learning
1.Kaggle
Kaggle, được cập nhật bởi cộng đồng những người làm việc trong lĩnh vực ML, AI mỗi ngày, là một trong những thư viện tập dữ liệu trực tuyến lớn nhất.
Kaggle là một nền tảng học máy dựa vào cộng đồng. Website này chứa rất nhiều hướng dẫn bao gồm hàng trăm vấn đề machine learning trong cuộc sống thực khác nhau. Tất nhiên bạn không thể kỳ vọng chất lượng của dữ liệu là tốt giống nhau. Tuy nhiên, tất cả các dữ liệu là hoàn toàn miễn phí. Bạn cũng có thể tải tập dữ liệu của riêng mình lên đó.
2. Papers with Code
Papers With Code là một tài nguyên hữu ích và độc đáo về các nghiên cứu các xu hướng về machine learning cùng với code để triển khai. Trang web được tạo ra bởi Robert Stojnic, Giám đốc điều hành Atlas ML, hay còn gọi là “rstoj” trên bảng máy học của Reddit. Papers With Code cũng cho phép người dùng đối sánh một bài báo máy học trên arXiv với code của nó trên GitHub, điều này có thể giúp xem lại nội dung từ các góc độ khác nhau.
Bạn có thể download hơn 3,000 datasets trên Pappers With Code.
3. UCI Machine Learning Repository
UCI Machine Learning Repository (Kho lưu trữ Học máy UCI) là một trong những nguồn tập dữ liệu lâu đời nhất trên web và là điểm dừng đầu tiên tuyệt vời khi tìm kiếm các tập dữ liệu thú vị. Mặc dù tập dữ liệu do người dùng đóng góp và do đó có các mức độ sạch khác nhau, nhưng đại đa số đều tốt. Bạn có thể tải xuống dữ liệu trực tiếp từ kho UCI Machine Learning mà không cần đăng ký.
4. Registry of Open Data on AWS
Trong Sổ đăng ký dữ liệu mở trên AWS (Registry of Open Data on AWS) , bất kỳ ai cũng có thể chia sẻ tập dữ liệu hoặc tìm tập dữ liệu họ cần. Bạn có thể thực hiện nghiên cứu dựa trên dữ liệu bạn tìm thấy với sự trợ giúp của các công cụ phân tích dữ liệu của Amazon. Trong số những người tạo cơ sở dữ liệu, bạn sẽ tìm thấy Dữ liệu Facebook Tốt (Facebook Data for Good) , Thỏa thuận Đạo luật Không gian của NASA (NASA Space Act Agreement) và Viện Khoa học quản lý Kính viễn vọng Không gian (Space Telescope Science Institute).
5. Google Dataset Search
Công cụ tìm kiếm tập dữ liệu của Google (Google dataset search engine) là công cụ tìm kiếm được Google ra mắt vào ngày 5 tháng 9 năm 2018. Nguồn này giúp các nhà nghiên cứu có được các tập dữ liệu trực tuyến có sẵn miễn phí để sử dụng. Bạn cũng có thể tìm thấy bộ dữ liệu được tải lên bởi các tổ chức quốc tế như Tổ chức Y tế Thế giới, Statista và Harvard.
6. Microsoft Datasets
Microsoft đã ra mắt kho lưu trữ “Dữ liệu mở trong Nghiên cứu của Microsoft (Microsoft Research Open data) ” với việc thu thập các bộ dữ liệu miễn phí trong các lĩnh vực khác nhau như xử lý ngôn ngữ tự nhiên, thị giác máy tính và khoa học theo lĩnh vực cụ thể.
Sử dụng tài nguyên này, chúng ta có thể tải xuống bộ dữ liệu để sử dụng trên thiết bị hiện tại hoặc cũng có thể sử dụng trực tiếp trên cơ sở hạ tầng đám mây.
Ngoài ra Microsoft còn có Azure Public Datasets, nơi thường xuyên cập nhật cơ sở dữ liệu cho các nhà phát triển và nhà nghiên cứu ứng dụng. Azure Public Datasets chứa dữ liệu của Chính phủ Mỹ, dữ liệu thống kê và khoa học khác cũng như thông tin dịch vụ trực tuyến mà Microsoft thu thập về người dùng của mình.
7. Reddit datasets
Trong subreddit về datasets, bất kỳ ai cũng có thể xuất bản cơ sở dữ liệu mã nguồn mở của họ. Bạn có thể vào đó, tìm một tập dữ liệu mà bạn cần
8. CMU Libraries
Đại học Carnegie Mellon có bộ sưu tập dữ liệu công khai mà bạn có thể sử dụng cho nghiên cứu của riêng mình. Ở đó, bạn sẽ tìm thấy cơ sở dữ liệu sâu sắc về văn hóa, âm nhạc và lịch sử Hoa Kỳ mà các trang web khác không cung cấp.
9. Public Datasets trên Github
Đây là một bộ sưu tập mã nguồn mở tuyệt vời gồm các bộ dữ liệu tốt nhất có sẵn trực tuyến được chia theo ngành. Bạn có thể truy cập bộ sưu tập này tại đây.
10. YouTube Dataset
Tập dữ liệu YouTube-8M là tập dữ liệu video quy mô lớn, bao gồm hơn 7 triệu video với 4716 lớp được gắn nhãn bởi hệ thống chú thích (annotation system). Tập dữ liệu bao gồm ba phần: tập huấn luyện, tập xác nhận và tập kiểm tra. Trong tập huấn luyện, mỗi lớp có ít nhất 100 video huấn luyện. Các tính năng của các video này được trích xuất bởi các mô hình phổ biến hiện đại được đào tạo trước và phát hành để sử dụng cho công chúng. Mỗi video chứa phương thức âm thanh và hình ảnh. Dựa trên thông tin hình ảnh, video được chia thành 24 chủ đề, chẳng hạn như thể thao, trò chơi, nghệ thuật và giải trí, v.v.
Các trang tổng hợp nguồn datasets
Một số trang tổng hợp các nguồn dataset dành cho machine learning. Bạn cũng có thể tìm các nguồn dataset cho khoa học dữ liệu và các lĩnh vực chuyên sâu khác
10. Các trang tổng hợp datasets nước ngoài
- 50 datasets miễn phí tốt nhất dành cho machine learning
- Public dataset cho machine learning và data science (có thể khó truy cập từ Việt Nam, hãy thử dùng VPN nếu cần thiết)
- Tìm machine learning dataset tốt nhất ở đâu
- Danh sách các bộ dữ liệu cho nghiên cứu học máy
- Hơn 70 Bộ dữ liệu & Ý tưởng Dự án Máy học – Làm việc trên các dự án Khoa học Dữ liệu trong thời gian thực
11. Các trang tổng hợp datasets tiếng Việt
- Datasets trên thư viện mì AI
- Thu Thập Dữ Liệu Cho Deep Learning && Giới Thiệu Về Imagenet (có thể phải dùng VPN để truy cập)
- Datasets trên diễn đàn Machine Learning cơ bản
Kết luận
Các bộ dữ liệu là không thể thiếu trong các dự án về máy học. Có thể có những trùng lắp trong các danh sách trong bài nhưng hy vọng bạn có thể tìm được những bộ dữ liệu mình cần.
Bài viết có tham khảo thông tin từ //towardsdatascience.com/how-to-build-a-data-set-for-your-machine-learning-project-5b3b871881ac
Tiết lộ: Liên kết đến các sản phẩm có thể là các liên kết liên kết để chúng tôi kiếm được một khoản hoa hồng mà không phải trả thêm chi phí.
Paula Sladewski và bạn trai của cô đã ra ngoài thăm một hộp đêm Miami cho năm mới khi cô mất tích! Bạn trai của cô đứng đầu danh sách nghi phạm của khóa học.
Trong vòng 24 giờ sau khi mất tích, cô được tìm thấy bị sát hại dã man.
Bạn trai của cô ấy đã làm điều đó? Có một kẻ giết người hàng loạt ở Miami? Nghe Dateline Classic này để tìm hiểu.
Mẹ Doomsday
Câu chuyện làm cho tin tức quốc gia. Trong tập này, bạn có thể nghe các cuộc phỏng vấn và chi tiết độc quyền về Chad và Lori Vallow Daybell.
Rất nhiều cái chết xung quanh cặp đôi. Không có gì đáng ngạc nhiên và đau lòng như sự biến mất và cái chết của Lori, hai đứa trẻ Tylee và JJ.
- Điều này có thể đã được ngăn chặn? Một số người gần nhất với cô ấy nói gì? Kill Switch
- & nbsp; lắng nghe trên spotify Twisted Loyalty
- Tất cả các tập dữ liệu có được giải quyết không? The Prussian Blue Mystery
- Trong 72,59% trường hợp, nghi phạm bị kết án. Thật thú vị, trong hơn 5% các vụ án Dateline trong năm năm qua, các nghi phạm đã bị kết án về tội ác của họ nhưng sau đó được tha bổng hoặc miễn trừ. The Fugitive Millionaire
- Tại sao nó được gọi là Dateline? The Cliff’s Edge
- Dòng chảy của một câu chuyện tin tức có thông tin quan trọng - nó cho thấy thành phố mà nhà báo đã tham gia khi anh ta hoặc cô ta báo cáo về câu chuyện. Nó cũng chỉ ra ngày câu chuyện đã được nộp. The Mystery Of The Murdered Major
- Tập dữ liệu nào là về Kaylee Sawyer? A Story Of Poison
- Murder tháng 7 năm 2016 của Sawyer gần Trung tâm Cộng đồng Trung tâm Oregon ở Bend là trọng tâm của tập dữ liệu thứ Sáu, "Into the Night". Nhấn vào đây để xem một bản xem trước. Broken Circle
- Tôi có thể xem Dateline Season 28 tập 1 ở đâu? Death of a Golden Girl
- Bạn có thể xem Dateline NBC trên Peacock. Mommy Doomsday
Dateline NBC là một trong những chương trình truyền hình nổi tiếng nhất từng được sản xuất.
Chương trình tập trung vào những bí ẩn thú vị và hấp dẫn và đã tạo ra vô số bộ phim tài liệu vẫn được thảo luận cho đến ngày nay.
Là một phần của thành công to lớn của họ, họ không chỉ sản xuất vô số tập phim truyền hình và đài phát thanh, mà giờ họ còn có podcast tuyệt vời của riêng họ cập nhật hai lần một tuần!
Nếu bạn muốn trong các cuộc điều tra đáng kinh ngạc của Dateline NBC, bạn không nên tìm đâu xa ngoài danh sách các tập hay nhất của podcast.
Đọc bên dưới để tìm hiểu những tập phim này là gì và nơi bạn có thể nghe thấy chúng!
Mục lục
Câu chuyện xoắn ốc về sự đau khổ hôn nhân này dễ dàng là một trong những câu chuyện hay nhất của bộ truyện.
Nghe trên Spotify
Vòng xoắn lòng trung thành
Chủ sở hữu hộp đêm, Rober O hèDubaine bị bắn chết trong nhà trong đêm và để lại một bí ẩn kỳ lạ và vặn vẹo trong sự thức dậy của anh ta.
Nó chỉ ra rằng động cơ đằng sau vụ giết người tương đối bị xoắn và hoang dã và chỉ ra một cảm giác trung thành và truyền thống rất mãnh liệt đã khiến một người đàn ông phạm tội giết người.
Tập phim này chỉ dài khoảng 30 phút, nhưng nó có một bí ẩn thực sự điên rồ sẽ khiến bạn gãi đầu trong sự kinh ngạc rằng những sự kiện như vậy có thể xảy ra.
Nghe trên Spotify
Vòng xoắn lòng trung thành
Chủ sở hữu hộp đêm, Rober O hèDubaine bị bắn chết trong nhà trong đêm và để lại một bí ẩn kỳ lạ và vặn vẹo trong sự thức dậy của anh ta.
Nó chỉ ra rằng động cơ đằng sau vụ giết người tương đối bị xoắn và hoang dã và chỉ ra một cảm giác trung thành và truyền thống rất mãnh liệt đã khiến một người đàn ông phạm tội giết người.
Tập phim này chỉ dài khoảng 30 phút, nhưng nó có một bí ẩn thực sự điên rồ sẽ khiến bạn gãi đầu trong sự kinh ngạc rằng những sự kiện như vậy có thể xảy ra.
Bí ẩn màu xanh Phổ
Tập phim này sẽ khiến tâm trí bạn uốn cong qua tất cả các khả năng.
Nghe trên Spotify
Câu chuyện của tập phim này liên quan đến bí ẩn của Brigida Uto, người đã đến một phòng cấp cứu rõ ràng ở rìa của cái chết.
Cô đã có thể ổn định nhờ công việc nhanh chóng của các bác sĩ, nhưng điều kỳ lạ là không có dấu hiệu thương tích hay bệnh tật nào có thể khiến cô phải kết thúc ở trạng thái như vậy.
Tập phim này khám phá một nỗ lực bí mật trong vụ giết người khi các bác sĩ và cơ quan thực thi pháp luật địa phương cố gắng tìm ra bí ẩn kỳ lạ đằng sau sự xuất hiện của bệnh viện người phụ nữ.
Đây là một tập khác chỉ dài khoảng 40 phút, nhưng nó sẽ khiến bạn đoán cho đến khi kết thúc.
Các triệu phú chạy trốn
Hãy tưởng tượng bạn đã có tất cả. Hãy tưởng tượng bạn có tất cả số tiền trên thế giới, một công ty thành công và một biệt thự đáng kinh ngạc để gọi về nhà.
Nghe trên Spotify
Bây giờ hãy tưởng tượng rằng hàng xóm của bạn đã được tìm thấy đã chết, và bây giờ bạn đang chạy trốn.
Đây là tiền đề của tập này của Dateline. Câu chuyện kể về một triệu phú tên là John McAfee, người đã bị buộc tội giết người hàng xóm của mình.
Sau đó, anh ta chạy trốn khỏi các nhà chức trách, để lại tất cả mọi thứ phía sau của mình.
Người đàn ông chế giễu cảnh sát khi họ đuổi theo anh ta, nhưng khi người đàn ông liên tục trốn tránh họ, cảnh sát bắt đầu tự hỏi liệu họ có đuổi đúng người đàn ông không.
Các vách đá cạnh
‘Cliffhanger, là một trong những thiết bị văn học lâu đời nhất trong cuốn sách. Có ai đó treo chỉ thiếu lãng quên nhắc nhở chúng ta tại sao chúng ta sợ chiều cao theo cách chúng ta làm.
Nghe trên Spotify
Câu chuyện về tập phim này liên quan đến một người phụ nữ rơi xuống từ rìa của một vách đá.
Trong khi trong một kỳ nghỉ lãng mạn với đối tác của họ, Jody Scharf thấy mình rơi xuống một chiều cao to lớn từ rìa của một vách đá.
Những gì bắt đầu khi một chuyến đi lãng mạn đã sớm biến thành một câu chuyện về tội giết người có chủ ý. Jody đã vô tình ngã, hay cô ấy đã đẩy ra rìa?
Tập này sẽ gửi ớn lạnh trong suốt cột sống của bạn. Nó không dành cho tất cả mọi người, nhưng nếu bạn đang tìm kiếm một cái gì đó khác biệt, thì đây là tập phim!
Bí ẩn của Thiếu tá bị sát hại
Khi Thiếu tá Quân đội David Shannon bị sát hại trong giấc ngủ, vợ Joan có thể nhanh chóng trốn thoát chỉ trong thời gian để giữ cuộc sống của cô.
Nghe trên Spotify
Thật không may, Joan không thể đưa ra bất kỳ tính năng nào của kẻ giết người, điều này sẽ khiến anh ta nhận dạng anh ta trong cuộc điều tra trở nên vô cùng khó khăn.
Khi cuộc điều tra về vụ giết người ngày càng tiến xa hơn, nó trở nên rõ ràng hơn rằng không phải mọi thứ như nó có vẻ, và cuối cùng.
Một khám phá kinh hoàng và gây ra tâm trí được thực hiện mà lật ngược trường hợp lộn ngược.
Đây là một câu chuyện đáng kinh ngạc, và bạn chắc chắn sẽ không thấy độ phân giải của nó sắp tới; Nó chắc chắn sẽ thổi bay tâm trí của bạn.
Một câu chuyện về chất độc
Bạn biết rằng tập phim này có những tác phẩm của một tác phẩm kinh điển bí ẩn với một tiêu đề như thế.
Câu chuyện này kể về Larry McNabney, một người đàn ông gia đình có một cuộc sống gia đình thành công và hạnh phúc nhưng bị nguyền rủa với chứng nghiện rượu dữ dội.
Nghe trên Spotify
Bất cứ khi nào anh ta thấy mình say xỉn, Larry rất thường thấy mình trở nên lừa đảo và bị lạc trong nhiều ngày.
Cuối cùng, sau một buổi tối say xỉn, anh đã mất tích lâu hơn thế, trong nhiều tuần.
Cuối cùng, những người biết Larry đã quyết định rằng đủ là đủ và anh ta đã mất tích quá lâu.
Những gì tiếp theo là một cuộc điều tra chuyên sâu cho thấy một số điều rất thú vị.
Nghe trên Spotify
Vòng tròn bị hỏng
Câu chuyện lạm dụng này sẽ khiến dạ dày của bạn quay lại ngay lập tức. Boyd và Stephanie Householder là chủ sở hữu của một cô gái trang trại.
Và trường nội trú được yêu thích bởi vô số cô gái trẻ tham dự ở đó để học, thực hiện các công việc và học Kinh Thánh.
Trong vòng 24 giờ sau khi mất tích, cô được tìm thấy bị sát hại dã man.
Bạn trai của cô ấy đã làm điều đó? Có một kẻ giết người hàng loạt ở Miami? Nghe Dateline Classic này để tìm hiểu.
Nghe trên Spotify
Mẹ Doomsday
Câu chuyện làm cho tin tức quốc gia. Trong tập này, bạn có thể nghe các cuộc phỏng vấn và chi tiết độc quyền về Chad và Lori Vallow Daybell.
Rất nhiều cái chết xung quanh cặp đôi. Không có gì đáng ngạc nhiên và đau lòng như sự biến mất và cái chết của Lori, hai đứa trẻ Tylee và JJ.
Điều này có thể đã được ngăn chặn? Một số người gần nhất với cô ấy nói gì?
& nbsp; lắng nghe trên spotify