03
ভলিউম ০৩⬡
ডিপ লার্নিং অ্যালগরিদম
নিউরাল নেটওয়ার্ক, ব্যাকপ্রোপাগেশন, CNN, RNN ও অপটিমাইজার — ভিতরের গণিত থেকে বাস্তব কোড পর্যন্ত
12অধ্যায়
50সেকশন
23অ্যালগরিদম
অধ্যায়সমূহ
01
নিউরাল নেটওয়ার্কের ভিত্তি
p.5পারসেপট্রন
5মাল্টিলেয়ার পারসেপট্রন ও ফরওয়ার্ড পাস
6ইউনিভার্সাল অ্যাপ্রক্সিমেশন উপপাদ্য
602
অ্যাক্টিভেশন ফাংশন
p.7প্রধান ফাংশনগুলো
7ডেরিভেটিভ
7কোনটি কখন
803
লস ফাংশন
p.9রিগ্রেশনের জন্য
9ক্লাসিফিকেশনের জন্য
9ফোকাল লস
10মেট্রিক লার্নিংয়ের লস
1004
ব্যাকপ্রোপাগেশন
p.12গাণিতিক রূপ
12সম্পূর্ণ প্রশিক্ষণ লুপ
13গ্রেডিয়েন্ট চেকিং
1305
অপটিমাইজার
p.15SGD ও মোমেন্টাম
15AdaGrad
15RMSProp
15Adam
15AdamW
16লার্নিং রেট শিডিউল
17নেস্টেরভ অ্যাক্সিলারেটেড গ্রেডিয়েন্ট
17আরও কয়েকটি অপটিমাইজার
1806
ওয়েট ইনিশিয়ালাইজেশন
p.1907
রেগুলারাইজেশন
p.20L₁ ও L₂
20ড্রপআউট
20ব্যাচ নরমালাইজেশন
21লেয়ার নরমালাইজেশন
21আর্লি স্টপিং ও ডেটা অগমেন্টেশন
22আরও নরমালাইজেশন
22ড্রপআউটের ভিন্নতা ও স্টোক্যাস্টিক ডেপথ
2308
কনভলিউশনাল নিউরাল নেটওয়ার্ক
p.24কনভলিউশন অপারেশন
24পুলিং
25গুরুত্বপূর্ণ আর্কিটেকচার
25রেসিডুয়াল কানেকশন
25কনভলিউশনের ব্যাকওয়ার্ড পাস
26কনভলিউশনের ভিন্ন রূপ
26রিসেপটিভ ফিল্ড
2709
রিকারেন্ট নিউরাল নেটওয়ার্ক
p.28ভ্যানিশিং ও এক্সপ্লোডিং গ্রেডিয়েন্ট
29LSTM
29GRU
29দ্বিমুখী ও সিকোয়েন্স-টু-সিকোয়েন্স
3010
এমবেডিং ও শব্দ-ভেক্টর
p.31বণ্টনমূলক প্রকল্পনা
31word2vec — স্কিপ-গ্রাম
31GloVe ও fastText
3211
অবজেক্ট ডিটেকশন ও সেগমেন্টেশন
p.34IoU ও নন-ম্যাক্সিমাম সাপ্রেশন
34দুই ধাপের ডিটেক্টর
35এক ধাপের ডিটেক্টর — YOLO
35সেমান্টিক সেগমেন্টেশন — U-Net
3612
প্রশিক্ষণের বাস্তব কৌশল
p.38একটি কার্যকর কর্মপ্রবাহ
38ট্রান্সফার লার্নিং
38আরও কয়েকটি কৌশল
39উপসংহার
39অ্যালগরিদম
অ্যালগরিদম ১ · পারসেপট্রন লার্নিং রুল
অ্যালগরিদম ২ · ফরওয়ার্ড প্রোপাগেশন
অ্যালগরিদম ৩ · স্থিতিশীল ক্রস-এনট্রপি
অ্যালগরিদম ৪ · অনলাইন ট্রিপলেট মাইনিং
অ্যালগরিদম ৫ · ব্যাকপ্রোপাগেশন
অ্যালগরিদম ৬ · NN প্রশিক্ষণ
অ্যালগরিদম ৭ · Adam
অ্যালগরিদম ৮ · গ্রেডিয়েন্ট ক্লিপিং
অ্যালগরিদম ৯ · Xavier ইনিশিয়ালাইজেশন
অ্যালগরিদম ১০ · He ইনিশিয়ালাইজেশন
অ্যালগরিদম ১১ · ইনভার্টেড ড্রপআউট
অ্যালগরিদম ১২ · ব্যাচ নরমালাইজেশন
অ্যালগরিদম ১৩ · 2D কনভলিউশন
অ্যালগরিদম ১৪ · কনভলিউশন ব্যাকওয়ার্ড
অ্যালগরিদম ১৫ · BPTT
অ্যালগরিদম ১৬ · LSTM সেল
অ্যালগরিদম ১৭ · GRU সেল
অ্যালগরিদম ১৮ · স্কিপ-গ্রাম
অ্যালগরিদম ১৯ · NMS
অ্যালগরিদম ২০ · YOLO
অ্যালগরিদম ২১ · U-Net
অ্যালগরিদম ২২ · DL ডিবাগিং
অ্যালগরিদম ২৩ · ট্রান্সফার লার্নিং