Đăng nhập
 
Tìm kiếm nâng cao
 
Tên bài báo
Tác giả
Năm xuất bản
Tóm tắt
Lĩnh vực
Phân loại
Số tạp chí
 

Bản tin định kỳ
Báo cáo thường niên
Tạp chí khoa học ĐHCT
Tạp chí tiếng anh ĐHCT
Tạp chí trong nước
Tạp chí quốc tế
Kỷ yếu HN trong nước
Kỷ yếu HN quốc tế
Book chapter
Bài báo - Tạp chí
In Proceedings of the 6th International Conference on Computer Science, Applied Mathematics and Applications, ICCSAMA 2019 (2019) Trang: 391-402
Tạp chí: Advanced Computational Methods for Knowledge Engineering

MapReduce has become the dominant programming model for analyzing and processing large-scale data. However, the model has its own limitations. It does not completely support iterative computation, caching mechanism, and operations with multiple inputs. Besides, I/O and communication costs of the model are so expensive. One of the most notably complex operations extensively and expensively used in MapReduce is recursive joins. It requires processing characteristics that are the limitations of a MapReduce environment. Therefore, this research proposes efficient solutions for processing recursive joins in Spark, a next-generation data processing engine of MapReduce. Our proposal eliminates a large amount of redundant data generated in repeated join steps and takes advantages of in-memory computing means and cache mechanism. Through experiments, the present research shows that our solutions significantly improve the execution performance of recursive joins on large-scale datasets.

Các bài báo khác
(2020) Trang: 19-24
Tạp chí: The 2020 12th International Conference on Knowledge and Systems Engineering (KSE)
(2016) Trang:
Tạp chí: Hội nghị khoa học quốc gia lần thứ IX “Nghiên cứu cơ bản và ứng dụng công nghệ thông tin”, Đại học Cần Thơ, ngày 04 và 05 tháng 8 năm 2016
(2016) Trang:
Tạp chí: 32ème Conférence sur la Gestion de Données - Principes, Technologies et Applications (BDA 2016), Futuroscop - Poitiers - France, 15 au 18 Novembre, 2016
25 (2016) Trang: 33-70
Tạp chí: Transactions on Large-Scale Data- and Knowledge-Centered Systems
Số 2 (2013) Trang: Article No.: 2
Tạp chí: The 2nd International Workshop on Cloud Intelligence (Cloud-I 2013)
 


Vietnamese | English






 
 
Vui lòng chờ...