Đăng nhập
 
Tìm kiếm nâng cao
 
Tên bài báo
Tác giả
Năm xuất bản
Tóm tắt
Lĩnh vực
Phân loại
Số tạp chí
 

Bản tin định kỳ
Báo cáo thường niên
Tạp chí khoa học ĐHCT
Tạp chí tiếng anh ĐHCT
Tạp chí trong nước
Tạp chí quốc tế
Kỷ yếu HN trong nước
Kỷ yếu HN quốc tế
Book chapter
Bài báo - Tạp chí
Số tạp chí Công nghệ TT 2015(2015) Trang: 98-104
Tác giả: Đỗ Thanh Nghị
Tải về

Thông tin chung:

Ngày nhận:19/09/2015

Ngày chấp nhận: 10/10/2015

 

Title:

Stochastic gradient descent for classifying very large datasets

Từ khóa:

Máy học véc-tơ hỗ trợ (SVM), giảm gradient ngẫu nhiên (SGD), phân lớp dữ liệu lớn

Keywords:

Support vector machines (SVM), Stochastic gradient descent (SGD), classifying very large datasets

ABSTRACT

In this paper, we present the support vector machines algorithm using the stochastic gradient descent for classifying very large datasets. To reach the sparsity in the solution, the support vector machines algorithm uses the hinge loss in classification tasks. Thus, the direct optimization using the stochastic gradient descent is difficult due to the differentiation of the hinge loss. Our proposal is to substitute the hinge loss used in the problem formula of the support vector machines algorithm by the smooth ones to improve the convergence rate of the stochastic gradient descent. The numerical test results on two large textual datasets (RCV1, twitter) show that our approach is more efficient than the usual hinge loss.

TÓM TẮT

Trong bài viết, chúng tôi trình bày giải thuật giảm gradient ngẫu nhiên sử dụng trong máy học véc-tơ hỗ trợ cho phân lớp dữ liệu lớn. Máy học véc-tơ hỗ trợ sử dụng hàm hinge loss trong phân lớp nhằm đạt được tính chất thưa trong lời giải. Tuy nhiên, do hàm hinge loss không khả vi là nguyên nhân làm chậm hội tụ đến lời giải khi áp dụng giải thuật giảm gradient ngẫu nhiên. Chúng tôi nghiên cứu thay thế hàm hinge loss được sử dụng trong vấn đề tối ưu của giải thuật máy học véc-tơ hỗ trợ bằng các hàm xấp xỉ, khả vi nhằm cải tiến tốc độ hội tụ của giải thuật giảm gradient ngẫu nhiên. Kết quả thực nghiệm trên 2 tập dữ liệu văn bản lớn (RCV1, twitter) cho thấy hiệu quả của đề xuất sử dụng hàm xấp xỉ so với hàm hinge loss.

 

Các bài báo khác
Số tạp chí 29(2013) Trang: 1-7
Tải về
Số tạp chí 32(2014) Trang: 35-41
Tải về
Số tạp chí 33(2014) Trang: 49-57
Tải về
Số tạp chí 27(2013) Trang: 64-71
Tải về
Số tạp chí 34(2014) Trang: 66-73
Tải về
Số tạp chí Công nghệ TT 2013(2013) Trang: 80-90
Tải về
Số tạp chí 28(2013) Trang: 9-16
Tải về
Số tạp chí 12(2014) Trang: 98-103
Tạp chí: Tạp chí nông nghiệp và phát triển nông thôn
Số tạp chí (2015) Trang: 277-285
Tạp chí: Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin FAIR 2015, ĐHCN Hà Nội, 7/2015
Số tạp chí (2016) Trang: 20-39
Tạp chí: The annual International Conference on Future Data and Security Engineering
Số tạp chí (2016) Trang: 714-721
Tạp chí: The IEEE Intl Conf. on Cloud and Big Data Computing 2016, Toulouse, France, 7/2016
Số tạp chí (2016) Trang: 200-208
Tạp chí: Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin FAIR 2016, ĐH. Cần Thơ 8/2016
Số tạp chí (2016) Trang: 871-879
Tạp chí: Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin FAIR 2016, ĐH. Cần Thơ 8/2016
Số tạp chí (2016) Trang: 538-544
Tạp chí: Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin FAIR, ĐH. Cần Thơ, 8/2016
Số tạp chí (2015) Trang: 32-45
Tác giả: Đỗ Thanh Nghị
Tạp chí: The 2nd International Conference on Future Data and Security Engineering 2015, Ho Chi Minh City, Vietnam, November 23-25, 2015
Số tạp chí XVIII(2015) Trang: 147-165
Tạp chí: Transactions on Computational Collective Intelligence
Số tạp chí (2015) Trang: 255-266
Tạp chí: International Conference on Computer Science, Applied Mathematics and Applications
Số tạp chí (2015) Trang: 231-241
Tác giả: Đỗ Thanh Nghị
Tạp chí: International Conference on Computer Science, Applied Mathematics and Applications
Số tạp chí Vol.2(1)(2015) Trang: 3-12
Tạp chí: Vietnam Journal of Computer Science
Số tạp chí (2014) Trang: 285-296
Tạp chí: NAFOSTED Conference on Information and Computer Science
Số tạp chí (2014) Trang: 25-34
Tạp chí: Advanced Approaches to Intelligent Information and Database Systems
Số tạp chí 1(2013) Trang: 1
Tạp chí: Tạp chí khoa học ĐHĐL Số chuyên đề: Công nghệ Thông tin
Số tạp chí 1(2013) Trang: 210
Tạp chí: KY Hội nghị Khoa học tự nhiên 2013
Số tạp chí 1(2012) Trang: 427
Tác giả: Đỗ Thanh Nghị
Tạp chí: Các hệ thống hỗ trợ quyết định
Số tạp chí 1(2012) Trang: 563
Tạp chí: Các hệ thống hỗ trợ quyết định
Số tạp chí 1(2012) Trang: 1
Tạp chí: Công nghệ thông tin
Số tạp chí 1(2011) Trang: 37
Tác giả: Đỗ Thanh Nghị
Tạp chí: FAIR
Số tạp chí 1(2011) Trang: 41
Tạp chí: Hội nghị tổng kết 5 năm NCKH &ĐT
Số tạp chí (2010) Trang:
Tạp chí:
Số tạp chí (2008) Trang:
Tạp chí: Proceedings of the 6th IEEE International Conference on Data Mining
Số tạp chí (2009) Trang:
Tác giả: Đỗ Thanh Nghị
Tạp chí:
Số tạp chí (2008) Trang:
Tạp chí: International Conference Research, Innovation and Vision for the Future
Số tạp chí (2012) Trang:
Tạp chí:  Công nghệ Thông tin & Truyền thông
Số tạp chí (2009) Trang:
Tác giả: Đỗ Thanh Nghị
Tạp chí:
Số tạp chí (2008) Trang:
Tạp chí: Revue des Nounelles Technilogies de l’Information RNTI
Số tạp chí (2008) Trang:
Tạp chí: Revue des Nounelles Technilogies de l’Information RNTI
Số tạp chí (2008) Trang:
Tạp chí: 6th International Conference on Machine Learning and Applications
Số tạp chí (2008) Trang:
Tạp chí: Revue des Nouvelles Technologies de l’Information (RNTI)
Số tạp chí (2009) Trang:
Tác giả: Đỗ Thanh Nghị
Tạp chí:
Số tạp chí (2008) Trang:
Tạp chí: Revue des Nounelles Technilogies de l’Information RNTI
Số tạp chí (2008) Trang:
Tạp chí: Revue des Nounelles Technilogies de l’Information RNTI
Số tạp chí (2011) Trang:
Tạp chí: Tuyển tập Công trình nghiên cứu CNTT&TT năm 2009
 

CÁC ẤN PHẨM






 
 
Vui lòng chờ...