ResNet (Residual Network) là một trong những kiến trúc mạng nơ-ron sâu (Deep Neural Network) nổi tiếng và được sử dụng rộng rãi trong lĩnh vực học sâu (Deep Learning), đặc biệt là trong các bài toán liên quan đến xử lý ảnh. ResNet được giới thiệu lần đầu tiên vào năm 2015 bởi nhóm nghiên cứu của Microsoft Research, do Kaiming He và các cộng sự phát triển, và đã giành chiến thắng trong cuộc thi ILSVRC (ImageNet Large Scale Visual Recognition Challenge) cùng năm.
Trước khi ResNet ra đời, việc huấn luyện các mạng nơ-ron sâu với hàng trăm hoặc thậm chí hàng ngàn lớp gặp nhiều khó khăn do hiện tượng vanishing gradient và exploding gradient. Khi mạng càng sâu, gradient (độ dốc) sẽ bị suy giảm hoặc tăng quá mức, làm cho quá trình cập nhật trọng số không hiệu quả, dẫn đến mạng không học được.
Điều này dẫn đến một nghịch lý: mặc dù lý thuyết cho thấy mạng sâu hơn sẽ có khả năng biểu diễn tốt hơn, nhưng thực tế, mạng nông hơn lại có hiệu suất tốt hơn trong một số trường hợp.
ResNet giải quyết vấn đề trên bằng cách giới thiệu khái niệm Residual Learning (học phần dư). Thay vì học trực tiếp ánh xạ giữa đầu vào và đầu ra, ResNet học phần chênh lệch (residual) giữa đầu vào và đầu ra. Cụ thể hơn, mạng ResNet sử dụng các kết nối tắt (skip connections) hoặc kết nối ngắn hạn để bỏ qua một số lớp trong mạng.
Một Residual Block cơ bản bao gồm:
y=F(x,{Wi})+x
Việc thêm kết nối tắt giúp bảo toàn được thông tin quan trọng của đầu vào trong suốt quá trình lan truyền ngược gradient, từ đó giảm thiểu vấn đề mất mát gradient.
ResNet có nhiều phiên bản khác nhau tùy theo độ sâu của mạng, được ký hiệu bằng số lượng lớp, chẳng hạn như ResNet-18, ResNet-34, ResNet-50, ResNet-101, và ResNet-152. Các phiên bản này khác nhau chủ yếu ở số lượng Residual Blocks và số lớp trong mỗi block.
ResNet đã có những thành tựu đáng kể trong nhiều lĩnh vực, đặc biệt là:
ResNet đã mở ra một kỷ nguyên mới trong việc phát triển các mạng nơ-ron sâu, vượt qua các hạn chế trước đó liên quan đến việc huấn luyện mạng có độ sâu lớn. Nhờ vào việc sử dụng các kết nối tắt và học phần dư, ResNet đã trở thành một trong những kiến trúc mạng nơ-ron phổ biến nhất và tiếp tục được sử dụng trong nhiều ứng dụng học sâu hiện nay.
