Đăng nhập
 
Tìm kiếm nâng cao
 
Tên bài báo
Tác giả
Năm xuất bản
Tóm tắt
Lĩnh vực
Phân loại
Số tạp chí
 

Bản tin định kỳ
Báo cáo thường niên
Tạp chí khoa học ĐHCT
Tạp chí tiếng anh ĐHCT
Tạp chí trong nước
Tạp chí quốc tế
Kỷ yếu HN trong nước
Kỷ yếu HN quốc tế
Book chapter
Bài báo - Tạp chí
Số Công nghệ TT 2015 (2015) Trang: 98-104
Tác giả: Đỗ Thanh Nghị
Tải về

Thông tin chung:

Ngày nhận:19/09/2015

Ngày chấp nhận: 10/10/2015

 

Title:

Stochastic gradient descent for classifying very large datasets

Từ khóa:

Máy học véc-tơ hỗ trợ (SVM), giảm gradient ngẫu nhiên (SGD), phân lớp dữ liệu lớn

Keywords:

Support vector machines (SVM), Stochastic gradient descent (SGD), classifying very large datasets

ABSTRACT

In this paper, we present the support vector machines algorithm using the stochastic gradient descent for classifying very large datasets. To reach the sparsity in the solution, the support vector machines algorithm uses the hinge loss in classification tasks. Thus, the direct optimization using the stochastic gradient descent is difficult due to the differentiation of the hinge loss. Our proposal is to substitute the hinge loss used in the problem formula of the support vector machines algorithm by the smooth ones to improve the convergence rate of the stochastic gradient descent. The numerical test results on two large textual datasets (RCV1, twitter) show that our approach is more efficient than the usual hinge loss.

TÓM TẮT

Trong bài viết, chúng tôi trình bày giải thuật giảm gradient ngẫu nhiên sử dụng trong máy học véc-tơ hỗ trợ cho phân lớp dữ liệu lớn. Máy học véc-tơ hỗ trợ sử dụng hàm hinge loss trong phân lớp nhằm đạt được tính chất thưa trong lời giải. Tuy nhiên, do hàm hinge loss không khả vi là nguyên nhân làm chậm hội tụ đến lời giải khi áp dụng giải thuật giảm gradient ngẫu nhiên. Chúng tôi nghiên cứu thay thế hàm hinge loss được sử dụng trong vấn đề tối ưu của giải thuật máy học véc-tơ hỗ trợ bằng các hàm xấp xỉ, khả vi nhằm cải tiến tốc độ hội tụ của giải thuật giảm gradient ngẫu nhiên. Kết quả thực nghiệm trên 2 tập dữ liệu văn bản lớn (RCV1, twitter) cho thấy hiệu quả của đề xuất sử dụng hàm xấp xỉ so với hàm hinge loss.

 

Các bài báo khác
Số 29 (2013) Trang: 1-7
Tải về
Số 32 (2014) Trang: 35-41
Tải về
Số 33 (2014) Trang: 49-57
Tải về
Số 27 (2013) Trang: 64-71
Tải về
Số 34 (2014) Trang: 66-73
Tải về
Số Công nghệ TT 2013 (2013) Trang: 80-90
Tải về
Số 28 (2013) Trang: 9-16
Tải về
CPE 2017 (2017) Trang: 1-16
Tạp chí: Concurrency and Computation: Practice and Experience
31 (2017) Trang: 67-93
Tạp chí: The LNCS Journal Transactions on Large-Scale Data- and Knowledge-Centered Systems
12 (2014) Trang: 98-103
Tạp chí: Tạp chí nông nghiệp và phát triển nông thôn
(2015) Trang: 277-285
Tạp chí: Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin FAIR 2015, ĐHCN Hà Nội, 7/2015
(2016) Trang: 20-39
Tạp chí: The annual International Conference on Future Data and Security Engineering
(2016) Trang: 714-721
Tạp chí: The IEEE Intl Conf. on Cloud and Big Data Computing 2016, Toulouse, France, 7/2016
(2016) Trang: 200-208
Tạp chí: Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin FAIR 2016, ĐH. Cần Thơ 8/2016
(2016) Trang: 871-879
Tạp chí: Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin FAIR 2016, ĐH. Cần Thơ 8/2016
(2016) Trang: 538-544
Tạp chí: Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin FAIR, ĐH. Cần Thơ, 8/2016
(2015) Trang: 32-45
Tác giả: Đỗ Thanh Nghị
Tạp chí: The 2nd International Conference on Future Data and Security Engineering 2015, Ho Chi Minh City, Vietnam, November 23-25, 2015
XVIII (2015) Trang: 147-165
Tạp chí: Transactions on Computational Collective Intelligence
(2015) Trang: 255-266
Tạp chí: International Conference on Computer Science, Applied Mathematics and Applications
(2015) Trang: 231-241
Tác giả: Đỗ Thanh Nghị
Tạp chí: International Conference on Computer Science, Applied Mathematics and Applications
(2014) Trang: 285-296
Tạp chí: NAFOSTED Conference on Information and Computer Science
(2014) Trang: 25-34
Tạp chí: Advanced Approaches to Intelligent Information and Database Systems
1 (2013) Trang: 1
Tạp chí: Tạp chí khoa học ĐHĐL Số chuyên đề: Công nghệ Thông tin
1 (2012) Trang: 427
Tác giả: Đỗ Thanh Nghị
Tạp chí: Các hệ thống hỗ trợ quyết định
1 (2012) Trang: 563
Tạp chí: Các hệ thống hỗ trợ quyết định
1 (2011) Trang: 41
Tạp chí: Hội nghị tổng kết 5 năm NCKH &ĐT
(2008) Trang:
Tạp chí: Proceedings of the 6th IEEE International Conference on Data Mining
(2008) Trang:
Tạp chí: International Conference Research, Innovation and Vision for the Future
(2012) Trang:
Tạp chí:  Công nghệ Thông tin & Truyền thông
(2008) Trang:
Tạp chí: Revue des Nounelles Technilogies de l’Information RNTI
(2008) Trang:
Tạp chí: Revue des Nounelles Technilogies de l’Information RNTI
(2008) Trang:
Tạp chí: 6th International Conference on Machine Learning and Applications
(2008) Trang:
Tạp chí: Revue des Nouvelles Technologies de l’Information (RNTI)
(2008) Trang:
Tạp chí: Revue des Nounelles Technilogies de l’Information RNTI
(2008) Trang:
Tạp chí: Revue des Nounelles Technilogies de l’Information RNTI
(2011) Trang:
Tạp chí: Tuyển tập Công trình nghiên cứu CNTT&TT năm 2009
 

CÁC ẤN PHẨM






 
 
Vui lòng chờ...