Fine-tune là gì

     

Part I. Cơ sở đến Transfer Learning.quý khách hàng đang xem: Fine tune là gì

Mục lục:

Các quan niệm Model Source Tasks với Target Tasks Transfer Learning Thương hiệu Featuriser Fine-tuning Lợi ích cùng giảm bớt Lợi ích Hạn chế? Mnghỉ ngơi đầu

Quý khách hàng thừa lười lúc nên train lại network tự đầu?

Bạn quá mệt mỏi cùng với Việc tạo ra một end-to-kết thúc network mới để thực hiện một task tất cả có không ít phần không giống nhau?

Quý khách hàng không có một bộ GPU khỏe khoắn với không muốn ĐK AWS xuất xắc dùng Google Cloud?Hay bạn không có một cỗ dataphối mập vào task mà bản thân yêu cầu thực hiện?

Well, đã đến lúc bạn hướng tới sự giúp đỡ của Transfer Learning, một chuyên môn mang tới hầu như network đầy đủ xuất sắc chưa đến lượng dataset nhỏ tuổi trên cơ sở gần như network tất cả sẵn.

Bạn đang xem: Fine-tune là gì

Để tận dụng được những pretrained network này là 1 nghệ thuật được phân tích từ bỏ thập niên 90. Khi Lorien Pratt thực nghiệm lần đầu năm 1993 và tiếp nối viết lại nó dưới dạng một lý thuyết tân oán học (formal analysis) năm 1998.

Đây vẫn là bài bác thứ nhất của Transfer Learning, giúp cho chúng ta tất cả một chiếc chú ý tổng quan lại về các khía cạnh của Transfer Learning trước lúc bước vào thực hành thực tế ở bài viết tiếp nối ;)

Prerequisite - Trước khi tham gia học về Transfer Learning, mình khuyến khích các bạn hiểu về:

Neural Network cơ bạn dạng.

Dataset cùng quá trình tạo ra một Mã Sản Phẩm.

1. Giới thiệu

Ngày xửa thời trước, Khi nền văn minch của loài bạn không cải cách và phát triển, các team tín đồ bé dại sinc sống trong những hang hốc. khi nhỏ người biết tLong trọt, bọn họ đưa ra các đồng bằng sinh sinh sống cùng trên đó, bọn họ chạm chán rất nhiều bộ tộc khác. Việc đọc được nhau trnghỉ ngơi bắt buộc trở ngại Khi số fan ngày càng tăng.

Và nạm là chúng ta sáng tạo ra ngôn từ, một phương pháp để truyền đạt ý suy nghĩ của mình cho những người bao bọc.

Việc nghiên cứu và phân tích công nghệ, đưa ra các ý tưởng phát minh new thì quan trọng đặc biệt tuyệt nhất là ko làm cho lại đông đảo gì vẫn được gia công rồi mà lại không làm giỏi hơn được vì chưng thời gian sẽ không được cho phép sự lãng phí như vậy xảy ra. điều đặc biệt là vào Deep Learning, một ngành cải tiến và phát triển nkhô giòn đến cchờ mặt hiện giờ, mọi ý tưởng mình suy nghĩ ra có thể gì đã chưa xuất hiện ai làm? Deep Learing rộng phủ đến đều nghành nghề dịch vụ, chính vì như vậy chiếc quan trọng là áp dụng rất nhiều prior works sẵn tất cả nhằm khiến cho một Mã Sản Phẩm bắt đầu tốt hơn, bởi vì bao gồm Việc này đang vô cùng khó khăn và tốn thời gian rồi chứ không nói tới nghiên cứu lại từ đầu phần đông trang bị.

2. Các khái niệm

1. Model

Chắc hẳn, nhiều người cũng đã biết về các mã sản phẩm nổi tiếng, được train ở những dataphối béo (MNIST, CIFAR-100, ImageNet, …) với source code cũng như Weights của model được public cho xã hội (chủ yếu là trên backlinks.vn).Chúng ta call hầu hết Model đi kèm theo Weights như thế là một trong Pretrained Model.

Xem thêm: Những Câu Chúc Năm Mới Bằng Tiếng Anh Hay Nhất Mọi Thời Đại, 25 Lời Chúc Mừng Năm Mới Ý Nghĩa Bằng Tiếng Anh

Model new sử dụng một phần xuất xắc toàn cục pretrained mã sản phẩm nhỏng 1 phần của nó nhằm học tập một tasks mới được điện thoại tư vấn là Transfered Model.

2. Source Tasks và Target Tasks

Những Pretrained Model điều đó thường được train ở một hoặc một vài ba cỗ datasets khăng khăng, tương thích cùng mang đến accuracy cao với một task hoặc các tasks (multi-task deep learning) nào này mà nó được train. Chúng ta Call những tasks nhưng pretrained Model đó được train nhằm triển khai là source tasks.

Nhiệm vụ của họ là tạo ra một Mã Sản Phẩm new nhằm triển khai một hoặc những tasks như thế nào đó. Những tasks rất cần được thực hiện của model này rất có thể trùng hoặc ko trùng với tasks mà lại pretrained Mã Sản Phẩm được train (thường xuyên thì sẽ không trùng), chúng ta call tasks này là target tasks.

3. Transfer Learning

Transfer Learning cũng chính là cách để những Model truyền đạt cho nhau tài năng mà lại mỗi mã sản phẩm có thể làm cho được. Một Mã Sản Phẩm hoàn toàn có thể học trên source tasks như thế nào kia với rồi pretrained Model này được áp dụng cho model khác để Model new đó học tập bên trên target tasks nhanh khô hơn.

Cụ thể, Transfer Learning vào Deep Learning là một trong những kỹ thuật nhưng trong đó:

Một pretrained Model đã có train vào source tasks cụ thể như thế nào kia, lúc đó 1 phần hay toàn bộ pretrained model rất có thể được tái thực hiện dựa vào vào trách nhiệm của từng layer trong model kia. Một Model bắt đầu áp dụng một phần tốt toàn thể pretrained Mã Sản Phẩm để học tập một target tasks và tùy thuộc vào nhiệm vụ của mỗi layer mà lại Model new rất có thể thêm các layer khác dựa vào pretrained Mã Sản Phẩm sẵn bao gồm.

Đó chưa hẳn là việc coppy ý tưởng phát minh, phiên bản thân người tạo ra pretrained Mã Sản Phẩm kia public thành công xuất sắc của họ là do hy vọng những người dân theo sau rất có thể tìm được các ích lợi tự những Mã Sản Phẩm đó, tuyệt ít nhất là cần sử dụng nó nhằm xử lý các công việc của mình.

Xem thêm: Cách Tắt Đề Xuất Kết Bạn Facebook, Tắt Gợi Ý Bạn Bè Không Liên Quan

3. Cơ sở

1. Featuriser

Trước năm 2012, phần đông phần nhiều Mã Sản Phẩm AI mọi được tạo nên thành do 2 stages tự do cùng với nhau:

Feature Engineering: là quá trình dựa trên hồ hết gọi biết của con fan về sự việc buộc phải xử lý (domain knowledge) để tự đó rút ra những đặc thù (features) của dataset nhưng mà có thể giúp ích đến Việc giải quyết và xử lý vấn đề này. Do đó những features này được Hotline là hand-crafted features (nôm na là làm cho thủ công). Feature extractor là một trong những phần của model dùng để trích xuất ra features nói tầm thường. Classifier/Regressor: cần sử dụng các thuật toán Machine Learning để học tập và dự đoán các kết quả từ phần đông features được tạo nên làm việc bước trên.



Chuyên mục: Tổng hợp