التعلم العميق الأرشيف

كيف استطاع الذكاء الاصطناعي تحويل الأفكار إلى كلام؟

أحدث تطور الذكاء الاصطناعي ثورة في علم الأعصاب. فبإدماجه في «واجهات الدماغ والحاسوب- brain–computer interfaces (BCIs)»، وهي أنظمة تستعمل في وصل الدماغ بأجهزة الحاسوب، صار من الممكن قراءة النشاط الدماغي وتحويله إلى كلام. فهل تنجح هذه الواجهات في تمكين العاجزين عن النطق من الكلام؟ وما العوائق التي تقف أمام استخدام هذه الواجهات في المجال الطبي؟

استخدام الذكاء الاصطناعي في تحويل الأفكار إلى كلام

بفضل التطور الهائل لقدرة الحواسب، أصبح تطبيق الذكاء في مختلف المجالات، بما في ذلك علم اللأعصاب، الوجهة المفضلة للعديد من الباحثين. وقد نشرت عدة دراسات حول طرق تحويل الأفكار إلى كلام باستخدام الذكاء الاصطناعي وواجهات الدماغ والحاسوب [1–3]. في هذا المقال، سنعرض آخر النتائج التي تم الحصول عليها بدمج الذكاء الاصطناعي مع واجهات الدماغ والحاسوب من أجل تحويل الأفكار إلى كلام، والتي توصلت إليها دراستان نشرتا في صيف 2023.

الدراسة الأولى: فك شفرة الإشارات العصبية لمنطقة النطق في الدماغ

في الدراسة الأولى، قام فريق بحثي من جامعة ستانفورد بتطوير جهاز يُزرع في المنطقة المسؤولة عن النطق في الدماغ. يقوم الجهاز بالكشف عن الإشارات العصبية التي ينتجها الدماغ أثناء محاولة النطق ببعض العبارات والجمل. ثم يربط بين الإشارات الدماغية والمفردات المنطوقة باستخدام الذكاء الاصطناعي [1][2][4].

التجربة

أثناء تجربته للواجهة المطَورة، قام الفريق البحثي بزرع رقائق من االسيليكون بالجزء المسؤول عن النطق في دماغ متطوعة عاجزة عن النطق. تعاني المريضة من مرض التصلب الجانبي الضموري، الذي يؤثر بشدة في قدرتها على التحكم بعضلات اللسان. تقوم الرقائق باستقبال الإشارات العصبية للدماغ أثناء محاولة المريضة نطق عبارات معينة تعرض عليها. واعتماداً على هذه البيانات، تقوم خوارزميات للتعلم العميق بالربط بين الإشارات العصبية، التي ينتجها دماغ المريضة، ومفردات الجمل والعبارات، التي تحاول نطقها، بفك تشفير كل فونيم (الوحدة الصوتية الصغرى) على حدة، أي بمحاولة إرفاق كل فونيم بإشارته العصبية التي تناسبه [2][4].

اعتمدت الدراسة على نموذج للتعلم العميق يدعى «الشبكة العصبية المتكررة-(recurrent neural network (RNN». والذي يأخذ بعين الاعتبار الفينومات التي سبق فك تشفيرها من أجل فك تشفير الفينوم اللاحق في عبارة ما. يقوم النموذج، خلال محاولة المريضة النطق بعبارة ما، بالتنبؤ باحتمالية نطق كل فونيم. ثم يقوم بتركيب الكلمات الأكثر احتمالية وترتيبها بمساعدة نموذج لغوي للغة الإنجليزية. وهكذا، تبني خوارزمية التعلم العميق نموذجاً قادراً على تفسير الإشارات العصبية للمريضة وترجمتها إلى نص [2].

نتائج التجربة

أظهرت واجهات الدماغ والحاسوب التي طورها الفريق نتائج واعدة. قد تعطي أملاً للأفراد العاجزين عن النطق باستعادة تواصل طبيعي وسلس مع المجتمع. فلم تتجاوز نسبة الكلمات الخاطئة 9% من مجموع الكلمات التي تنبَّأ بها عند استعمال 50 مفردة في تدريب الخوارزمية. بينما، ارتفعت هذه النسبة إلى 23.8% عند تدريب الخوارزمية ب 125 ألف مفردة. ووصلت سرعة التنبؤ إلى معدل متوسط قدره 62 كلمة في الدقيقة في مقابل 160 كلمة بالنسبة للكلام الطبيعي. رغم هذا، تبقى هذه النتائج مشجعة لبذل مزيد من الجهد في تحسين واجهات الدماغ والحاسوب لجعلها أكثر كفاءة في إنتاج كلام سلس وطبيعي [2][4].

الدراسة الثانية: ربط النشاط الدماغي بالجمل والعبارات

في الدراسة الثانية، قام فريق بحثي من جامعة كاليفورنيا بمحاولة ربط النشاط الدماغي بالجمل والعبارات المنطوقة. وتختلف هذه الدراسة عن سابقتها بكونها لا تقتصر على النشاط الدماغي للمناطق المسؤولة عن النطق، بل تتعداه لتغطي القشرة الدماغية كلها. بالإضافة إلى هذا، نجح الفريق في خلق محاكاة شبه طبيعية للمريضة وهي تتحدث، وذلك بمساعدة أفاتار يحاكي تعابير وجهها ونبرة صوتها أثناء الكلام [1][4].

التجربة

في هذه التجربة، قام فريق البحث بزرع 253 قطبا وتوزيعها على القشرة الدماغية لمريضة فقدت قدرتها على النطق إثر سكتة دماغية. تقوم الأقطاب بالتقاط النشاط المشترك لآلاف الخلايا العصبية أثناء محاولة المريضة نطق عبارات تتكون بمجملها من 1024 مفردة. ويتم تدريب خوارزمية للتعلم العميق على التعرف على أنماط النشاط الدماغي الناتج عن نطق كل مفردة. ثم يتم تحويل الكلمات إلى صوت وتعبيرات وجه اصطناعية بواسطة أفاتار طوره الفريق [1][4].

نتائج التجربة

حققت واجهات الدماغ والحاسوب في هذه التجربة نتائج مشجعة وملهمة في تحسين التواصل بين العاجزين عن النطق مع العالم الخارجي. ورغم أن نسبة الخطإ في هذه الدراسة فاقت 25 بالمئة، يبقى توفير طريقة تواصل بتعابير الوجه ونبرة الصوت طفرة نوعية قدمتها هذه الدراسة. بالإضافة إلى هذا، تفوق سرعة فك التشفير (ترجمة النشاط الدماغي إلى كلمات) في هذه الدراسة تلك التي حققتها الدراسة السابقة، حيث تصل إلى 78 كلمة في الدقيقة. ورغم أن هذه السرعة لا تزال بعيدة عن السرعة الطبيعية للكلام، فإن الدراسة تفتح آفاقاً واسعة أمام استخدام واجهات الدماغ والحاسوب في استعادة الكلام للعاجزين عن النطق [1][4].

عيوب الدراستين

رغم الاهتمام الهائل الذي لاقته كلتا الدراستين، لا تزال واجهات الدماغ والحاسوب في حاجة إلى مزيد من التحسين والتطوير من أجل إدماجها في مراكز الرعاية الصحية لمساعدة العاجزين عن النطق على الكلام. ومن أبرز العيوب التي تعاني منها الدراستان، وجود أسلاك تربط رأس المريض بالحاسب الآلي أثناء عملية التواصل. مما يحُدُّ من حصول تواصل طبيعي وفعال. أضف إلى هذا أن هذه التقنية تعتمد بشكل كلي على وجود مناطق دماغية سليمة عند المريض من أجل فك تشفيرها. وهذا ليس حال كل المرضى، دون أن ننسى الآثار الجانبية والمسائل الأخلاقية التي قد يثيرها زرع واجهات الدماغ والحاسوب بأدمغة المرضى [1][2][4].

في النهاية، من أجل انتشار واسع لهذه التقنية، يجب التركيز على تحسين دقة وسرعة فك التشفير. بالإضافة إلى تطوير أنظمة قابلة للزرع بالكامل دونما حاجة إلى أسلاك موصلة مع الأخذ بعين الاعتبار لمختلف الآثار الجانبية [4].

المصادر

[1] A high-performance neuroprosthesis for speech decoding and avatar control
[2] A high-performance speech neuroprosthesis
[3] High-performance brain-to-text communication via handwriting
[4] Brain-reading devices allow paralysed people to talk using their thoughts

خوارزميات النحل، الخوارزميات الثورية في مجال الحوسبة التحسينية

هذه المقالة هي الجزء 11 من 12 في سلسلة أشهر الخوارزميات التحسينية المستوحاة من الطبيعية

في مجال الحوسبة و البحث العملياتي، أي علم اتخاد القرار، تعتبر خوارزميات النحل من الخوارزميات التحسينية الفريدة والفعالة. هذه الخوارزميات التحسينية المستوحاة من الطبيعة تنتمي إلي مجموعة الخوارزميات التحسينية التي تتبنى في مقاربتها الخوارزمية، لحل المشاكل، مفهوم الساكنة. أي أن جميع الحلول المحتملة التي تم معالجتها تنتمي لجيل واحد من الأجيال على الأقل، على مدار دورات التكرار.

صممت هذه الخوارزميات لمحاكاة أسلوب بحث نحل المستعمرات عن موارد الطعام. أي حقول الأزهار التي تحتوي على الرحيق الذي تتغدى عليه. وليس النحل البري الذي ينفرد بذاته ويعيش مستقلا عن أي تجمع، فلكل طريقته.

تستخدم هذه الخوارزمية في حل المشاكل المستمرة و المشاكل المتقطعة، مثل خوارزميات الساكنة الأخرى. ولتنفيد هذا تقوم ببحث محلي بجوار الحلول المحلية، المكتشفة بواسطة بحث شامل و غير مركز.

يشترط استخدام هذه الخوارزمية القدرة على حساب الفرق بين الحلول، أي المسافة بين نقاط فضاء الحلول المحتملة. وبالطبع بدون الحاجة لحساب أي اشتقاقات أو تدرجات. وفي هذا المقال سنركز على مراجعة ألية بحث نحل المستعمرات عن الرحيق، وكذلك ألية عمل بعض خوارزميات النحل ومتحوراتها.

سلوك نحل العسل

تعيش نحلات العسل في مستعمرات منظمة. تخزن العاملات منها العسل الذي تنتجه فيها وتتغذى عليه من أجل أن تحيا وتستمر. هذه الحياة التي تقضيها في العمل قائمة على عدد من المتطلبات والتي من أجل تحقيقها تحتاج النحلات للتواصل في ما بينها. فيتم التواصل، كما النمل وعدد من الحيوانات و الحشرات الأخرى، بواسطة الفيرومونات. لكن إضافة لهذه الطريقة التقليدية، تمتاز النحلات باستخدامها للرقص لتحقيق المزيد من التواصل. فباستخدام رقصات محددة تستطيع النحلات أن تمرر فيما بينها معلومات حساسة ومهمة عن اتجاه وقيمة مصدر الطعام. اتجاه الجسم يشير إلي مصدر الطعام، و الصوت الناتج خلال الرقصة يدل على مدى أهمية وقيمة هذا المصدر.

كفاءة البحث مفتاح البقاء

كما هو واضح، فآلية التواصل بالفيرومونات جد مهمة في حياة النحلة وحاسمة في استمرارية المستعمرة. فباستخدام مركب كميائي معين من الفيرومونات يمكن أن تحفز النحلة مجموعتها لرد فعل على هجوم ما. إضافةً، فعند إيجاد النحلة لمصدر رحيق معين، وتعود حاملة إياه، تصدر مجموعة من الفيرومونات كإشارة. ومن ثم تقوم النحلة برقصتها لتحديد المكان والجودة للنحلات المجاورة.

عند تعدد مصادر الرحيق، أثبتت الدراسات أن السلوك المنظم للمستعمرة قادر على توزيع النحلات الجامعة على هذه المصادر بطريقة فعالة. وذلك من أجل جمع أقصى قدر من الرحيق. فكي تستطيع المستعمرة النجاة خلال فصل الشتاء، يتوجب جمع ما لا يقل عن 15 كيلوغرام من العسل أو ما قد يصل إلي 50 كيلوغرام، حسب النوع والمنطقة.

كفاءة البحث كمصدر إلهام

هنا تبرز أهمية قدرة النحل على توزيع أفراده لجمع الرحيق من وجهة نظر تطورية. فإن لم تجمع ما يكفي وتنظم مجهوداتها بالطريقة المثلى، فلن تبقى إلي أن يحل فصل الربيع. وبالتالي، ما يجعل من موضوع أليات عمل مستعمرات النحل هذه بمختلف أنواعها مصدرًا هامًا نستطيع استحضاره ومحاكاته لإيجاد مختلف الطرق لحل ما يوجهنا من مشاكل هندسية وخصوصًا المشاكل التحسينية. وقد تم تصميم عدد كبير من الخوارزميات التحسينية انطلاقًا من مفهوم مستعمرة النحل، وفق هذه الميكانيزمات، وطرق العمل الفريدة والفعالة.

خوارزميات النحل

على مدار العقدين الماضيين، بدأت خوارزميات النحل تنبثق كخوارزميات تحسينية واعدة في مجال التحسين. لكن بعد البحث نجد أنه من الصعب تحديد التاريخ الدقيق لأول صياغة لهذه الخوارزميات. بحيث تم تطويرها من طرف عدد من الباحثين في أبحاث مستقلة، وفي مختلف أنحاء العالم، على مدار السنوات.

لكن انطلاقا من الأدبيات العلمية والأوراق البحثية نجد أن خوارزمية نحل العسل Honeybee Algorithm قد تم تطويرها سنة 2004 على يد كريغ توفي Craig A. Tovey من معهد جورجيا للتكنولوجيا، و سونيل نكراني Sunil Nkarani من جامعة أوكسفورد. وفي أواخر 2004 وبداية 2005 طور عالم الرياضيات والحاسوب شين شي يانغ Xin She Yang من جامعة كامبريدج خوارزمية النحلة الافتراضية Virtual Bee Algorithm، لحل مشاكل التحسين العددية. هذه الخوارزمية قادرة على مواجهة المشاكل المستمرة و المتقطعة.

وفي وقت لاحق من سنة 2005 طور حداد Haddad و أفشار Afshar وزملاءهما خوارزمية تحسين تزاوج نحل العسل Honeybee mating Optimization. والتي استخدمت في تصميم الخزانات والتعنقد clustering. وفي نفس الفترة الزمنية طور كارابوجا D. Karaboga خوارزمية النحل الاصطناعية Artificial Bee Algorithm للتحسين العددي.

خوارزمية نحل العسل

يتم توجيه النحل العامل في خوارزمية نحل العسل Honeybee Algorithm نحو عدد من مصادر الطعام. من أجل الحصول على أكبر كمية من الرحيق. عملية التوجيه هذه تقوم على عدد من العوامل، مثل تركيز الرحيق في المنطقة المعنية وكذلك قربها من المستعمرة. وسنجد أن عملية التوجيه هذه مشابهة لعملية توزيع خوادم استضافة الويب allocation of web-hosting servers على الإنترنت. وبالتالي، كان هذا المشكل من أوائل المسائل التي تم حلها بواسطة خوارزميات النحل، وبالضبط خوارزمية نحل العسل.

باعتبار Wi(j) قوة تذبذب رقصة النحلة i خلال خطوة التنفيد j، نجد أنه من الممكن تحديد احتمالية اتباع نحلة معينة للمصدر المشار إليه بعد مشاهدة الرقصة بواسطة عدد من الصيغ وذلك اعتمادًا على المتحور المستعمل، فنجد الصيغة المطبقة في خوارزمية نحل العسل كالتالي:

يمثل العدد الصحيح الطبيعي nf عدد النحلات العاملة الباحثة، و t دورة البحث الحالية. وبالتالي عدد النحلات المراقبة للرقصات هو N-nf أي مجموع النحلات ناقص عدد النحلات غير المتفرغة، بسبب بحثها.

يمكن كذلك تحديد معادلة لاحتمالية الاستكشاف ممثلة بصيغة إحصائية أخرى، فنجد الصيغة الغاوسية الجديدة:

فنجد σ تعبر عن معدل التطاير volatility، وهذه القيمة التي تتحكم في استكشاف وتنوع مناطق البحث المختارة.

عند عدم رقص أي نحلة نجد:

ما يعني أن النحلات ستبحث عشوائيًا.

في متحورات أخرى، عند تطبيقها لحل المشاكل المتقطعة مثل مشاكل الجدولة، تقوم النحلة الباحثة بأداء رقصة معينة في مدة زمنية محددة τ = γ fp. بحيث تعبر fp عن ربحية أو غنى منطقة الطعام، أي حقل الزهور وتركيز الرحيق بها. بينما γ هي معامل تحجيم للتحكم في الفترة الزمنية للرقصة. بالطبع الربحية مرتبطة بالدالة الهدف.

بالإضافة لهذا، يتم تصنيف كل مسار بطريقة ديناميكية. فنجد أن مسار أكبر عدد من النحلات هو المسار المفضل للخلية. كما أن احتمالية اختيار طريق بين نقطتين في مشكل توجيهي معين يمكن أن تتم وفق الصيغة التالية:

نجد 0<α و 0<β معاملا تأثير. Wij تعبر عن قوة الرقصة. وأيضا نجد أن dij تمثل معدل استحسان الطريق.

على غرار خوارزميات مستعمرة النمل، فخوارزمية نحل العسل HBA، جد فعالة في التعامل مع مشاكل التحسين المتقطعة مثل مشاكل التوجيه والجدولة. لكن في مواجهة التحسين المستمر، فهي غير مباشرة، وبالتالي في حاجة إلى بعض التعديلات.

خوارزمية النحلة الافتراضية

طورت خوارزمية النحلة الافتراضية Virtual Bee Algorithm من طرف Xin She Yang سنة 2005 من أجل مواجهة المشاكل المستمرة والمتقطعة. بحيث تتشابه في عدد من خصائصها خوارزمية استمثال عناصر السرب Particle Swarm Optimization أكثر من خوارزميات النحل الأخرى، ويقصد ب”الاستمثال” التحسين. في هذه الخوارزمية تمثل الدالة الهدف قيم الرحيق الافتراضية، بينما الحلول المحتملة هي مواقع غنية، بكميات متفاوتة، بالرحيق. كما أن قوة الرقصة تعتمد فقط على تركيز الرحيق، والذي يمكن اعتباره هنا معاملًا للملائمة fitness للحلول المحتملة.

في مواجهة المشاكل المتقطعة يتم ربط الدالة الهدف، مثل دالة تحديد الطريق الأقصر، مباشرة بربحية عملية استكشاف الرحيق. والتي بدورها ترتبط عملية استكشاف الرحيق، بقوة رقصة النحلة.

انطلاقًا من هذا، نلاحظ وجود تشابه كبير بين هذه الخوارزمية وسابقتها، خوارزمية نحل العسل. لكن رغم وجود هكذا تشابه، إلا أنه عند تدقيق النظر في آلية بحث النحلات، نجد الاختلافات. إذ أنها لا تحتاج للعودة للخلية من أجل إخبار نظيراتها بما اكتشفته، بحيث يمكنها بث محتوى الرقصة عن بعد لجميع النحلات. وبالتالي يصبح الحل الأمثل الحالي معلومًا عند كل نحلة باحثة ومؤثرًا على عملية اتخاد القرار الفردية. فنجد من هذا إختلافًا بنيويًا، لا يجعل منها تختلف عن خوارزمية نحل العسل فحسب، بل وتختلف كذلك عن كل خوارزميات النحل الأخرى.

خوارزمية مستعمرة النحل الاصطناعية

في هذه الخوارزمية، خوارزمية مستعمرة النحل الاصطناعية Artificial Bee Colony Algorithm، يتم تقسيم نحلات المستعمرة لثلاث أنواع. النحلات العاملة، والنحلات الكشافة، والنحلات المراقبة. فنجد لكل مصدر طعام نحلة عاملة واحدة تبحث محليًا عن الحل المحلي الأمثل. فيما يحاكي عملية استخراج الرحيق والانتقال من زهرة إلي أخرى. كما أن التخلي عن مصدر طعام معين، عند نضوبه أو انخفاض ربحيته، يعني مباشرة تحول نحلته العاملة إلي نحلة كشافة. فتبحث النحلة الكشافة بشكل عشوائي عن مصادر طعام أخرى.

تتشارك النحلات العاملة والنحلات الكشافة معلوماتها مع النحلات المراقبة، والتي تتمركز في الخلية. هذه الأخيرة، فيما بعد، تقرر منطقة بحثها متخذتةً بعين الاعتبار المعلومات التي وصلت إليها. لتصبح هي الأخرى نحلات عاملة وتنضم للفريق.

تطبيقات خوارزميات النحل

لكونها خوارزميات ناجحة، يمكن تطبيقها لحل مختلف أنواع المشاكل التحسينية. فنجد خوارزميات النحل حاضرة في كل مجالات التحسين الحوسبي فمن تطبيقاتها نجد:

تدريب الخلايا العصبية الاصطناعية.
تدريب نماذج الذكاء الاصطناعي.
التعلم العميق.
التصميم الصناعي.
مخطط الرقابة Control Chart في الهندسة الصناعية.

وتبقى التطبيقات الحالية كثيرة، والأخرى الممكنة لا حصر لها فالبحث لا زال جاريًا، والأفق مفتوح.

مصادر

دليلك لفهم خوارزمية أدم ADAM التحسينية الأكثر استخدامًا في التعلم العميق

هذه المقالة هي الجزء 12 من 12 في سلسلة أشهر الخوارزميات التحسينية المستوحاة من الطبيعية

اختيارك للخوارزمية التحسينية المناسبة لتدريب نموذجك للتعلم العميق، يعني مباشرة اختيارك جودة ومدة التنفيذ. فاختيارك هذا له الكلمة الفصل في قدرتك على الحصول على نتائج في دقائق، أو ساعات، أو حتى أيام. أو ربما عدم حصولك على نتيجة خلال فترة حياتك. ومن بين هذه الخوارزميات، نجد أن خوارزمية أدم ADAM هي أحد أكثر الخوارزميات التحسينية استخدامًا في مجال التعلم العميق. وتحديدًا في تدريب الشبكات العصبية الاصطناعية. وقد أشرنا سابقا أن خوارزمية النزول التدرجي ومتحوراتها هم الأكثر استخدامًا في هذا المجال، لكن ما لم نذكره هو أن خوارزمية أدم ADAM هي متحور من متحورات خوارزمية النزول التدرجي. وبالتحديد خوارزمية النزول التدرجي التصادفية Stochastic Gradient descent.

وقد استخدمت خوارزمية النزول التدرجي التصادفية SGD في السنوات الأخيرة بشكل مكثف وكبير في فروع عديدة من الذكاء الاصطناعي، لعل أبرزها هما الرؤية الحاسوبية computer vision، ومعالجة اللغة الطبيعية Natural Language Processing.

ما هي خوارزمية أدم ADAM؟

أصول خوارزمية أدم ADAM

ابتُكرت خوارزمية أدم بهدف استبدال خوارزمية النزول التدرجي التصادفية، وذلك، تحديداً في عملية تدريب نماذج التعلم العميق deep learning. وقد تم اقتراح هذه الخوارزمية من طرف دايديريك كينغما Diederik Kingma رائدة المجال OpenAI و جيمي با Jimmy Ba من جامعة تورونتو سنة 2015 في ورقة بحثية في مؤتمر ICLR باسم “أدم: طريقة للتحسين التصادفي”، Adam: a method for stochastic optimization. تم تسمية هذه الخوارزمية أدم اختصارًا ل: ADAptive Moment estimation <=> ADAM.

مميزات الخوارزمية

في تقديمهم لخوارزمية أدم، وضح الباحثان مميزات هذه الخوارزمية في التعامل مع المشاكل غير المحدبة، أي دالتها الهدف غير محدبة non-convex objective function. من بينها:

سهولة تنفيذ الخوارزمية.
كفؤة حوسبيًا computationally efficient.
استهلاك ضعيف للذاكرة.
غير حساسة لإعادة القياس القطري للتدرجات. أي أنها غير حساسة لضرب متجهة التدرج في مصفوفة قطرية موجبة العوامل. لكونها تستعمل المشتقات الجزئية، بدلًا من التدرج الذي تستعمله خوارزمية النزول التدرجي التصادفية.
منسابة عند تعدد المتغيرات وكبر عينات البيانات.
جيدة مع المشاكل غير الثابتة، أي فضاء البحث متغير بدلالة الزمن.
فعالة عند وجود تشويش يؤثر على قيم التدرج.
المتغيرات الأساسية في التحكم في التنفيذ، أي المعلمات الفائقة hyperparameters، بديهية ولا تحتاج ضبط معقد. وضبط هذه الأخيرة parameter tuning يعد مشكلةً تحسينيةً هو الأخر، ونستعمل خوارزميات تحسينية لضبطها عند الحاجة.

آلية عمل أدم

تختلف أدم عن خوارزمية النزول التدرجي التصادفية. لكونها تأخذ معدل تعلم بارامتري، أي معدل تعلم يتغير بدلالة متغيرات معينة. معدل التعلم هذا هو حجم الخطوة عند كل دورة تكرار تقليص للدالة الهدف. راجع(ي) المقال السابق لتوضيح أكبر: تعرف على خوارزمية النزول التدرجي الأشهر في الخوارزميات التحسينية.

يتم تحديد معدل التعلم، أو حجم الخطوة هذا، انطلاقا من تقديرات العزم الأول والثاني للتدرج. فيصف الباحثان هذه الخوارزمية بكونها دمجًا بين إثنتين من سابقتيها، واللتان بدورهما من متحورات خوارزمية النزول التدرجي التصادفية وهما:

خوارزمية التدرج المتأقلم

Adaptive Gradient Algorithm، أو AdaGrad: والتي هي الأخرى تستعمل حجم خطوة متغير لتعزيز أدائها في حل المشاكل ذات التدرج الضئيل. ما يعني في التعلم العميق أن الشبكة لا تستقبل إشارات كافية لضبط أوزانها. ومن أمثلة هذه المشاكل نجد: معالجة اللغة الطبيعية NLP، و الرؤية الحاسوبية، وغيرها.

خوارزمية انتشار جذر متوسط المربع

Root Mean Square Propagation، أو RMSPropa: التي أيضًا تستعمل خطوة متغيرة. ذلك التغير، بدلالة متوسط مُضمحل للتدرجات الجزئية. ما يعني أن أداء هذه الخوارزمية جيد عند مواجهتها لمشاكل ذات فضاء بحث متغير زمنيًا، أو عند وجود تشويش يغير من قيم التدرج.

كيف تجمع أدم ADAM فوائد هاتين الخوارزميتين؟

فبدلاً من تكييف معدلات التعلم لمتغيرات الدالة الهدف بناءً على متوسط العزم الأول average first moment كما هو الحال في RMSProp، تستخدم آدم أيضا متوسط العزوم الثانية للتدرجات Uncentered variance.

وباستعمال العزم فإننا نتمكن من التحكم في مقدار النزول التدرجي بطريقة تكون فيها التذبذبات عند أدنى قيمها عند اقترابنا للحل الأمثل، أي تقلص حجم الخطوات كلما أصبحنا أقرب للحل الأمثل. بينما يكون حجم الخطوة معتبرًا عند اقترابنا لحل محلي.

رياضيات

العزم

يستعمل العزم لتسريع النزول التدرجي.

تعبر (t)W عن قيمة الأوزان في لحظة t. يمثل ألفا درجة التعلم، أي حجم الخطوة الحالي. كما تمثل (t)m مجموع التدرجات عند اللحظة t.

تمثل (t)m مجموع التدرجات عند اللحظة t أي الدورة الحالية، بينما (t-1)m تعبر عن هذا المجموع في الدورة السابقة. dL هي مشتقة الدالة الهدف، (t)dW مشتقة الأوزان عند اللحظة t. بيتا هي المتغير المتحرك (مفهوم إحصائي).

انتشار جدر متوسط المربع RMSProp

تمثل ε ثابتة صغيرة لتجنب القسمة على صفر.

أدم

انطلاقا من معادلات الطريقتين أعلاه، نتحصل على:

متجهة العزم الأولى (t)m. متجهة العزم الثانية (t)v.

نظرًا لأن كل من mt و vt قد تم تصفيرهما بدئيًا، وكذلك لكون β1 و β2 تأخد قيم تقارب 1، لوحظ تجريبيًا أنهما يكتسبان تحيزًا نحو الصفر. لإصلاح هذا نقوم بحساب قيم تصحيحية. ويتم حساب هذه القيم أيضًا للتحكم في الأوزان عند قرب وصولنا للحل الأمثل وذلك لمنع التذبذبات عالية التردد. والصيغ المستخدمة هي:

ما يمكننا من استبدال mt و vt بقيم مصححة:

نجد (t)w قيم النقطة الحالية عند اللحظة t.

الأداء العملي

لكونها مبنية على نقاط قوة سابقاتها، فإن خوارزمية أدم ADAM هي أحد أفضل الخوارزميات التحسينية على الإطلاق، وذلك إن لم تكن أصلا أفضلها. فنجد أن هذه الخوارزمية تقدم أداء أعلى بهامش كبير من أداء نظيراتها، بحيث تتفوق عليهم لا من حيث كلفة تدريب النماذج فقط بل ومن حيث الأداء السريع والعالي.

يبين المنحنى أداء مجموعة من الخوارزميات بالمقارنة مع أداء خوارزمية أدم في التدريب التحسيني لشبكة عصبية متعددة الطبقات على صور MNIST. المصدر غووغل.

مصادر

ما هو التعلم العميق؟

لعلك سمعت من قبل عن مفهوم التعلم العميق مع عدة مفاهيم أخرى مثل تعلم الآلة والشبكات العصبية الاصطناعية وكثيرًا ما ترتبط هذه المفاهيم ببعضها البعض ويتم ذكرها سويًا عند الحديث عن مجال الذكاء الاصطناعي بشكل عام وتطبيقاته الكثيره، ولكن ماذا تعني هذه المفاهيم بالتحديد؟ وما الفرق بينهما؟

في البداية يشير مفهوم تعلم الآلة إلى التخصص المهتم بدراسة الخوارزميات القائمة على جعل الآلة تتعلم وتتطور بمفردها دون الحاجة إلى أوامر برمجية محددة. حيث يتم إدخال «مجموعة بيانات-data set» إلى تلك الخوارزميات فتحللها وتتعلم منها ومن ثم تقوم ببناء توقعات استنادًا على ما تعلمته. يمثل تخصص تعلم الآلة التقاطع بين علم الحاسب والاحصاء. [1]

مثال بسيط على تطبيق خوارزميات تعلم الآلة هو “المقترحات”. عند استماعك إلى الموسيقى على إحدى منصات الاستماع الشهيرة، ففي زيارتك التالية تجد المزيد من الموسيقى المشابهة والترشيحات ذات الصلة بتاريخ استماعك، حيث قامت خوارزميات تعلم الآلة بتحليل بيانات تاريخ استماعك وتفضيلاتك وقامت بإيجاد الأنماط خلالها ثم ببناء توقعات للعديد من الموسيقى الأخرى التي تناسب ذوقك.

يمكنك معرفة المزيد عن تعلم الآلة في مقدمة عن تعلم الآلة.

أما عن مفهوم التعلم العميق فهو تخصص من تعلم الآلة الذي هو بدوره تخصص من الذكاء الاصطناعي.

«التعلم العميق -deep learning»

هو التخصص المهتم بدراسة «الشبكات العصبية الاصطناعية-artificial neural networks» التي تقوم بمحاكاة الشبكات العصبية في مخ الانسان.

«الشبكة العصبية الاصطناعية-artificial neural network»

تعرف «الشبكة العصبية الاصطناعية-artificial neural network» على أنها قطعة من نظام الحوسبة المصممة لمحاكاة عملية التحليل والمعالجة في مخ الانسان. وحدة المعالجة الأساسية في مخ الانسان هي الخلية العصبية، وتقابلها الخلية العصبية الاصطناعية في الآلة. تَجَمُّع الخلايا العصبية الاصطناعية يعرف بالشبكة العصبية الاصطناعية. [2]

شكل المحاكاة بين الخلية العصبية البيولوجية والاصطناعية

ظهر تخصص التعلم العميق كامتداد وتطور لتعلم الآلة حين عجزت خوارزميات تعلم الآلة التقليدية عن أداء بعض المهام المعقدة. على سبيل المثال، تتطلب خوارزميات تعلم الآلة التقليدية مجموعة بيانات مبسطة ومرتبة للتعلم منها. ولكنها غير قابلة على التعلم من مجموعة البيانات الكبيرة والمعقدة مثل الموجات الصوتية المختلفة وأبعاد الصور وعدد ال pixels بداخلها، لذا تستخدم خوارزميات التعلم العميق للتعامل مع بيانات معقدة كهذه كما في تطبيقات «التعرف على الصوت- voice recognition» التي تستخدمها سيري مساعدة جوجل في التعرف على أصوات محدثيها وتطبيقات «التعرف على الصور- image recognition» المستخدمة من قبل فيسبوك للتعرف على وجوه الأشخاص داخل الصور.

تكوين خوارزمية التعلم العميق

تتكون الخوارزمية من هيكل متعدد الطبقات من الشبكات العصبية الاصطناعية. حيث تكون الطبقة على الطرف الأيسر هي طبقة الإدخال، و الطبقة على الطرف الأيمن هي طبقة الإخراج، وفي الوسط العديد من الطبقات المخفية المسؤولة عن المعالجة. بنية خوارزميات التعلم العميق الطبقية تمكنها من معالجة أفضل للبيانات وأداء أفضل.

نموذج للشبكة العصبية المكونة للتعلم العميق

وبناءً على ذلك، تتطلب خوارزمية التعلم العميق مستوى أقل من التدخل البشري في تحسين نتائج الخوارزمية. حيث تقوم الخوارزمية بالتعلم والتحسين من أخطائها بمفردها. على عكس خوارزمية تعلم الآلة التقليدية التي تتطلب الكثير من التدخل البشري للتعديل والتحسين. [3]

ولكن مع ذلك، ما زالت خوارزميات التعلم العميق قيد التطور. بالرغم من تقدمها والتحسين الملحوظ فيما تقدمه من نتائج وأداء إلى أنها تتطلب الكثير من الوقت وقدره حوسبة عالية لتتعلم من مجموعة البيانات الضخمة وتكوين نموذج قابل للتطبيق.

على الرغم من تقدم خوارزميات وتقنيات عالم الذكاء الاصطناعي والنتائج المبشرة التي تحملها تطبيقاتها إلى أنها لا تزال في مراحلها الأولى وأمامها الكثير من التقدم والفرص.

مصادر:

1 levity
2 Wikipedia
3 simplilearn

هل يساعد تحليل الأعمال في اتخاذ القرارات؟

هذه المقالة هي الجزء 10 من 17 في سلسلة مقدمة في علم البيانات وتطبيقاته

تُعتبر البيانات مصدرًا قيمًا في سوق الأعمال. وتعد معرفة كيفية اتخاذ قرار بناءً على البيانات والتواصل من خلال هذه البيانات من المهارات الضرورية للموظفين ولأصحاب العمل في المستقبل، والتي تعرف باسم « Business Analytics – تحليل الأعمال». تحليل الأعمال هو استخدام الرياضيات والإحصاء للحصول على معنى من البيانات لخلق قرارات أفضل للعمل. فهل يساعد تحليل الأعمال في اتخاذ القرارات؟

ينقسم تحليل الأعمال إلى ٣ أنواع:

وصفي: وهو الرجوع الى بيانات قديمة للتعرف على أشكال واتجاهات جديدة.
تنبؤي: الحصول على نتائج مستقبلية من البيانات وإعطاء إشارات للمستقبل.
نظري: تقنيات لتحديد الناتج الأفضل من كل الخيارات المتاحة.

كيف تستفيد الشركات من تحليل الأعمال؟

أولًا: تخطيط مكان العمل (مايكروسوفت نموذجًا)

يؤدي تخطيط مكان العمل بناءً على البيانات المتاحة غالبًا إلى توفير التكاليف والوقت. على سبيل المثال، ترى شركة مايكروسوفت أن التفاعل وجهًا لوجه بين الموظفين يمكن أن يحسّن من أداء الموظف ويوفر الأموال. افترضت الشركة أن تحويل الموظفين من ٥ مبانٍ إلى ٤ مبانٍ يمكن أن يزيد التعاون ويقلل المسافات لحضور الاجتماعات. اعتمدت هذه الاقتراحات على دراسة سابقة أوضحت أن التعاون يزداد بين الموظفين عندما يصبحون أكثر قربًا من بعضهم. وبالفعل قامت الشركة بالتغييرات واتضح من النتائج أن نقصان ٤٦٪ من وقت السفر للاجتماعات مما أدى إلى توفير ١٠٠ ساعة أسبوعيًا، كما وفر سنويًا ما يُقدر ب ٥٢٠ ألف دولار. قل وقت الاجتماعات أيضًا من ٨٥ ساعة إلى ٧٧ ساعة. ونقص عدد الاجتماعات إلى ١٤ اجتماعًا بعد وصوله إلى ١٨ ساعة لكل شخص. أدى إعادة التوزيع في النهاية إلى زيادة التعاون وتحسين كفاءة العمل.

ثانيًا: تحسين خدمة العملاء (أوبر نموذجًا)

أكدت شركة أوبر على أهمية خدمة العملاء وأولوية رضا العملاء عن الخدمة. في عام 2018، طورت الشركة أداة «Customer Obsession Ticket Assistant» وهي أداة تستخدم تقنيات تعلم الآلة ومعالجة اللغة لمساعدة الموظفين على زيادة الدقة والسرعة ومساعدة موظفي الدعم للرد على الحجز. وأصبح لها تأثير إيجابي، حيث قل وقت الانتظار بنسبة ١٠٪.

حاول المهندسون تطوير ميزات أكثر، حيث طوروا نسخة مُعدلَة من الأداة اعتمادًا على التعلم العميق. ثم قارنوا بين الأداة الأولى والأداة المُعدلَة باستخدام الإحصاء. بدأ المهندسون بالعمل على مجموعتين؛ استخدمت إحداهما الأداة الأولى واستخدمت الثانية الأداة المُعدلَة. اتضح أن الأداة الثانية تعمل على تقليل الوقت اللازم أكثر من الأولى بنسبة ٧٪، مما يؤدي إلى خدمة أفضل وارتفاع معدلات رضا العملاء. وما زالت تظهر الإمكانات للتطوير أكثر فأكثر باستخدام تحليل الأعمال.

ثالثًا: فهم سلوك العملاء وتفضيلاتهم (بلو أبرون نموذجًا)

بدأت شركة «Blue Apron – بلو أبرون»، وهي شركة توصيل وجبات طعام في الولايات المتحدة، بنشر قوائم الطعام الخاصة بها كل أسبوع على وسائل التواصل الاجتماعي. وعلى أساس تفضيلات العملاء يتم تجهيز الوجبات اعتمادًا على نتائج تحليل الأعمال والإحصاء التنبؤية، لتجنب فساد المنتج ومشاكل تجهيز الطلبات. تتعرف الشركة على تفضيلات العملاء من خلال:

تفضيلات العميل الحالية والظروف المحيطة به من خلال التفاعل في وسائل التواصل الاجتماعي.
فواتير سابقة وصلت للعميل.
البيع الموسمي: أي متابعة أوقات زيادة مبيعات منتج ما وانخفاض مبيعات آخر.

وبالفعل زادت دقة معرفة العميل بنسبة ٦٪ عما سبق، كما توفرت كثير من الأموال للشركة وقل فساد المنتجات وانتظم تجهيز الطلبات.

نستنتج من ذلك أن اتخاذ القرارات المبني على البيانات يعطي نتيجة أفضل من القرارات غير المبنية على أسس قوية. لذا إذا كنت في اجتماع ما وعلى وشك اتخاذ قرار وكان قرارك معتمدًا على البيانات بتحليل دقيق أنصحك بأن تكون مُصر على قرارك إذا لم يكن هناك تعارض. ويجب أن يكون العمل وفقًا لما تقترحه البيانات وتحليلاتها من ركائز العمل داخل المؤسسات.

المصادر:

Harvard Business School online
Learning Hub