top of page

האם בינה מלאכותית יכולה לפתח תודעה?

AI-g43336fc37_640.png

(פורסם בתאריך 17.4.2023)

 

במאמר זה אני סוקר שתי סוגיות בעולם הבינה המלאכותית, המייצגות זווית ראייה שונה במקצת מהעיסוק העכשווי בנושא. ובסיום עונה על השאלה שבכותרת.

אך לפני שנתחיל, אני רוצה להגדיר את המושג בינה מלאכותית בדרך הבאה: "בינה מלאכותית היא פעילות אלקטרונית, המדמה את אופן החשיבה של מוח האדם רק בדרך הרבה (הרבה!) יותר מהירה, והרבה יותר יעילה."

אני מניח שההגדרה נראית טריוויאלית לרוב הקוראים, עם זאת, ההגדרה כפי שכתבתי אותה חשובה בעיניי. למה? כי לכולנו ברור שמחשבים פועלים הרבה יותר מהר ויעיל מבני האדם. אבל מכיוון שעיצבנו את העולם על פי דרך החשיבה שלנו, הדגש בהתייחסות לבינה המלאכותית היא עד כמה היא מסוגלת לחשוב, או לפעול כמונו – בני האדם.

 

סוגייה ראשונה: אופן החשיבה

כשחושבים על בינה מלאכותית כיום, חושבים על רשת נוירונים (CNN) כזאת או אחרת. נכון, יש גם אלגוריתמיקה נוספת "קלאסית" שאינה רשת, אבל היא בשוליים. כיום כל שיטות הבינה המלאכותית: "למידה עמוקה" (DL), "למידת מכונה" (ML), "בינה מלאכותית גנרית" (AGI), והלהיט התורן: "בינה מלאכותית יוצרת" (Generative AI). בין אם בלמידה מבוקרת (supervised) או לא. כולן משתמשות ברשתות נוירונים בצורה כזאת או אחרת.

ולכולן בקירוב אותם המאפיינים, שמתוכם אני מעוניין להדגיש את המאפיינים הבאים:

  • מהירות רבה. בהנחה שקיים GPU מתאים כמובן.

  • מקביליות. ניתן להריץ יותר מאלגוריתם אחד במקביל (כאמור, ב-GPU מתאים)

  • אוטומטיות. מרגע שנכנס קלט, יוצא פלט.

  • ללא מוסר, שיפוט או הטלת ספק.

  • ללא שליטה. אין באמת שליטה על הפלט שיוצא.

  • התוצאה תלויה פחות או יותר (לא לינארית) בתצורה שבה הרשת אומנה בעבר.

מדובר למעשה בהתאמת תבניות (Pattern Matching) מורכבת ומתוחכמת. לא יותר ולא פחות.

 

בנקודה זו אני מעוניין לעשות הפסקה מסקירת הבינה המלאכותית, ולחזור אל מוח האדם. חתן פרס נובל, פרופסור דניאל כהנמן מתאר בספרו "לחשוב מהר לחשוב לאט" את אופן החשיבה של האדם כשתי מערכות. החלוקה הזאת היא לוגית בעיקרה, אם כי ניתן לראות לדבריו, פעילות של אזורים שונים במוח לכל מערכת חשיבה.

שתי המערכות על פי כהנמן פועלות בצורה שונה לגמרי בתוך הראש שלנו. בדרך כלל, מקובל לתאר את מערכת 1 תחילה, ואז לתאר את מערכת 2. אני מעוניין לתאר את המערכות בכיוון ההפוך. ומיד גם יהיה ברור למה.

אז נתחיל במערכת 2. אלו בקצרה התכונות שלה:

איטית, מחייבת קשב וריכוז, טורית (מאפשרת לעשות רק פעולה אחת בו זמנית), נשלטת, דורשת מאמץ, עצלנית, מטילה ספק, מוסרית, שיפוטית ומפעילה שיקול דעת.

 

ואילו התכונות של מערכת 1 (שהיא כאמור ההיפך ממערכת 2) הן אלו:

  • מהירה מאד

  • פועלת באופן אוטומטי

  • ללא שליטה רצונית

  • חשיבה מקבילית

  • ללא מאמץ

  • ללא שיפוט או מוסר

  • לא הטלת ספק

  • ללא שיקול דעת

למעשה, מערכת 1, שהיא האינטואיציה שלנו, היא מעיין מערכת של התאמת תבניות (Pattern Matching) מורכבת. היא "נבנית" עם השנים מהניסיון שלנו. על פי כהנמן, הרי שחזרות רבות על דבר מה, הופכים אותו לחלק מהאינטואיציה שלנו, למערכת 1.

 

בשלב הזה בואו נחזור אל הבינה המלאכותית. אין צורך במומחה כדי להבחין בדבר הבא: הבינה המלאכותית העכשווית חופפת באופן כמעט מושלם, את אופן החשיבה של האדם כפי שהוא בא לידי ביטוי עם מערכת 1. ובאותה הנשימה, ניתן לומר גם שהבינה המלאכותית כמעט ואינה נוגעת במערכת 2.

שתי שאלות עולות מיידית מהאמור: האם זה באמת כך? ואם כן, אז מה קורה עם מערכת 2? איפה כל המחקר בעולם?

אתחיל ממענה לשאלה השנייה קודם: ככל הידוע לי אין מחקר בכל הקשור למערכת 2. יכול להיות שיש מתחת לרדאר, אבל אין בנושא פרסומים. ובכלל, נראה שעולם הבינה מלאכותית אינו מתקדם לכיוון הזה – של חיקוי מערכת 2.

אני באופן אישי, עוסק בנושא. הגעתי לתחום מעולם קבלת ההחלטות, ואני בודק כמה כיוונים המקשרים את הבינה המלאכותית כמערכת 2 לעולם קבלת ההחלטות, אבל המחקר שלי רק בחיתוליו, וללא תמיכה של ארגון גדול, אני לא צופה שהוא יתקדם בקצב גבוה. שאר העולם לצערי, לא באמת בכיוון.

קיים אמנם תחום שנקרא: (XAI) Explainable AI, אולם הוא רחוק (מאד) ממערכת 2. XAI נוצר כי החוקרים הבינו ש"משהו חסר", אבל לא באמת הבינו מה. XAI מנסה לספק תשובה לשאלה: "איך הבינה המלאכותית הגיעה להחלטה?" זאת כדי שאפשר יהיה להבין לא רק את אי-הלינאריות שלה, אלא גם לבטוח בתוצאה המתקבלת, ועקב כך לבטוח בבינה המלאכותית עצמה. אם נחזור להגדרה של הבינה המלאכותית בהתחלה, ברור כי לא מדובר בהרחבת היכולות אלא בניסיון להבין. בהשלכה לאופן החשיבה של האדם מדובר בחוקר מוח או בפסיכולוג שמסביר איך האינטואיציה עובדת, ולא במערכת 2 עצמה.

ובחזרה לשאלה הראשונה, ובמיוחד אם הגענו למסקנה שהעולם לא נמצא שם: אולי באמת ההנחה שהצגתי שגויה. אולי זה לא באמת כך, שכל הבינה המלאכותית בעולם מחקה רק את מערכת 1 של האדם. כלומר 50% מיכולת החשיבה שלנו.

ובכן, יכול מאד להיות שאני טועה. עם זאת, הרבה סימנים מעידים על ההיפך.

ראשית, המבנה הפיזי, ואופן הפעולה נראים דומים מאד. גם דרך "הכנסת" המידע – אימון, דומה מאד. והכי חשוב: גם בבינה מלאכותית וגם באינטואיציה (מערכת 1), וכפי שהזכרתי מקודם, אנחנו לא באמת מצליחים להסביר לעצמנו איך התקבלה התוצאה. קשה עד בלתי אפשרי לצפות בדיוק את התוצאה המתקבלת. יש המכנים את התוצאה "לא לינאריות" כדי להמחיש את חוסר הקשר (הישיר) בין הקלט לפלט. התוצאות המתקבלות, או לייתר דיוק מרחב התוצאה, דומה בין הבינה המלאכותית למערכת 1 בצורה כה מבהיקה, עד כי צריך ממש להתאמץ כדי לשלול הטענה.

אבל אני רוצה "להוכיח" זאת בדרך אחרת. על דרך השלילה, תוך כדי שאני מתאר את היתרונות והחסרונות של הבינה המלאכותית בנושא שלכאורה לא נראה קשור: נהיגה אוטונומית.

בנקודה זו נחזור שוב למוח האדם ונסקור את הנהיגה ביחס לשתי מערכות החשיבה. תיאור מפורט יותר ניתן למצוא בספר שלי פשוט להחליט, בפרק 9. אחזור כאן על הדברים בקצרה.

רוב הנהיגה מתבצעת על ידי מערכת 1. כלומר אוטומטית, במהירות, מבלי להקדיש לכך תשומת לב. מדי פעם מערכת 1 מגיעה למצב שבו אין לה מושג מה לעשות, ואז היא "קוראת" למערכת 2 שתיתן מענה.

שתי דוגמאות להמחשה: אתם חוזרים בנסיעה מפגישה חשובה, מאוחר בלילה. התנועה דלילה, ואתם מרוכזים בפגישה שהייתה. פתאום אתם שמים לב שאתם נמצאים בחנייה של ביתכם. איך זה קרה? בכלל לא שמתם לב. מה שקרה זה שמערכת 1 נהגה במכונית, ולא היו אירועים חריגים. אז מערכת 2 שהייתה "עסוקה" עדיין בפגישה, לא הקדישה תשומת לב לנהיגה כלל. עד שהגעתם הביתה.

דוגמא שנייה: אתם נוסעים ומדברים עם מישהו בטלפון (בדיבורית). פתאום ילד קופץ לכביש. מערכת 1 לא יודעת להתמודד עם ילד שקופץ לכביש ולכן קוראת מיד למערכת 2 ש"לוקחת פיקוד" על הנהיגה ומונעת את הפגיעה בילד על ידי בלימה, הסטת הרכב או שניהם. האדם מהצד השני של הטלפון ממשיך לדבר אתכם אבל אתם לא מקשיבים לו כלל. מערכת 2 היא טורית, וכרגע מטפלת במצב החרום בכביש.

 

עתה בואו נחזור לעולם הבינה המלאכותית שאחראית על הנהיגה האוטונומית.
וכן, אני מתאר לעצמי מה אתם חושבים. איך? אתם בוודאי שואלים, אצל האדם נוהגות שתי המערכות ברכב: רוב הזמן מערכת 1, אבל מדי פעם מערכת 2. ואילו בבינה מלאכותית לדבריך, יש רק מערכת 1. אז איך מכוניות אוטונומיות נוסעות? ואנחנו הרי יודעים שהן מצליחות לנהוג לא רע.

ואתם צודקים. מכוניות אוטונומיות נוהגות בהצלחה רבה רק עם בינה מלאכותית הפועלת כמו מערכת 1. איך? כי מערכת 1 פירושה ניסיון. אצל האדם זה רק הניסיון שלו. אבל בינה מלאכותית יכולה לצבור ניסיון של אלפי ואפילו מיליוני בני אדם. ChatGPT כדוגמא. עם כל כך הרבה ניסיון, גם ילד שקופץ לכביש אפשר לנהל עם מערכת 1.

ואחרי כל זה, יש פעולה של ברירת מחדל. אם מגיעים למצב שהתוכנה אינה יודעת לפתור, אפשר פשוט לעצור, ולתת לתמיכה "הטכנית" להשתלט מרחוק על הרכב ולפתור את הבעיה. במילים אחרות, הבעיה פתירה.

אלא... אם אחת הבעיות שמחייבות את התערבות מערכת 2, דורשת פעולה אקטיבית במקום עצירה. במצב כזה, לבינה המלאכותית כיום אין מענה. לדוגמא: אתם רוצים לפנות שמאלה בצומת מרומזר בגרמניה או בארה"ב (בשתי מדינות אלו אין רמזור נפרד לפנייה שמאלה). אם התנועה דלילה, אין בעיה לפנות. אבל כשהתנועה סואנת, אתם חייבים את מערכת 2 שתיכנס לפעולה. ואיך המכונית האוטונומית מצליחה להתמודד עם האתגר? ובכן, היא לא. למכונית האוטונומית יש כמה נקודות כשל ידועות. פנייה שמאלה בצומת מרומזרת ללא רמזור מפורש ידועה כאחת מהן. כלומר, מאחר והנהיגה האוטונומית משתמשת בבינה מלאכותית של מערכת 1 בלבד, במקומות בהן צריך את מערכת 2, אין לנהיגה האוטונומית מענה.

לסיכום החלק הראשון של המאמר אחזור על הטענה שלי: כל צורות הבינה המלאכותית הקיימות כיום מחקות את אופי החשיבה של מערכת 1 בלבד, ומתעלמות כמעט לחלוטין מדרך החשיבה של מערכת 2. במילים אחרות, הבינה המלאכותית מחקה בערך 50% מיכולת החשיבה של האדם.

 

ושאלה נוספת שעשויה – או עלולה – לצוץ בעקבות החלק הראשון:
האם, ברגע שנפתח בינה מלאכותית המסוגלת לחקות את אופן הפעולה של שתי מערכות החשיבה של האדם, האם במצב כזה נביא את הבינה המלאכותית לכך שתהיה לה תודעה עצמית?

ובכן, השאלה הזאת בדיוק נדונה בחלק השני של המאמר.

סוגייה שנייה: בינה מלאכותית ותודעה

אנחנו רוצים לשאול את השאלה הבאה:
"האם וכיצד יכולה בינה מלאכותית לפתח תודעה?"

 

אך לפני שנעשה את מיטב המאמצים כדי לענות על הסוגייה, נרצה לענות על השאלה הבאה: מה זאת בכלל תודעה?

ככל הידוע לי, אין למדע הגדרה מדויקת לתודעה. אם נניח את התפיסה הדתית או הפילוסופית בצד, הגישה המדעית נעה בין משהו ערטילאי לחלוטין, ועד לטענה כי אין דבר כזה תודעה, כלל.

אני רוצה להציע פירוש משלי לתודעה. אין לי דרך להוכיח את טענתי, והיא גם נשענת על תפיסה סובייקטיבית, אבל היא מציעה תשובה הולמת לדעתי, למושג התודעה.

 

בנקודה זו אני רוצה לעבור לנושא אחר לגמרי: המושג המכונה "חץ הזמן".

"חץ הזמן" הוא ביטוי על גבול הפילוסופיה, שמתאר את הזמן כ"משהו" הנע מהעבר לעתיד. ה"זרימה" של העולם, או של פעולותינו בעולם מהעבר אל העתיד נתפסת אצל כולנו בצורה אינטואיטיבית למדי. אבל כפי שמיטיב לתאר זאת קרלו רובלי – הפיזיקאי האיטלקי – אין לתחושה הסובייקטיבית הזאת שום זכר בפיזיקה.

בכל משוואות הפיזיקה שעוסקות בזמן – בין אם אלו המשוואות המוכרות של ניוטון, או אפילו משוואות תורת היחסות של איינשטיין – אין שום הגדרה של "חץ הזמן". אפילו להיפך, אין שום מניעה מהפיכת המשוואה ושימוש בזמן מהסוף להתחלה. בקיצור, אין שום קשר בין הפיזיקה לבין התחושה הסובייקטיבית שלנו שהזמן נע מהעבר לעתיד. או בניסוח אחר: הזמן שנע מסיבה לתוצאה. אז מאיפה מגיעה התחושה הסובייקטיבית הזאת?

הפיזיקה דווקא כן מתארת משהו כמו "חץ הזמן". הוא נקרא אנטרופיה – מדד לאי הסדר בעולם. אבל הוא רחוק מאד ממשהו אינטואיטיבי, עד כי קשה להאמין שהאנטרופיה גורמת לתחושה סובייקטיבית כלשהי. הנה דוגמא: מבחינת רוב האנשים, חום הוא אנרגיה זמינה. זה מאד אינטואיטיבי, ומאד שגוי פיסיקלית: חום הוא בית הקברות של אנרגיה. אינטואיטיבית, כשאנחנו חושבים על אנרגיה, אנחנו חושבים על עבודה, או על פוטנציאל לעבודה. חום הוא ההפך המוחלט מכך. אנרגיה שהופכת לחום, לא תהפוך עוד לעבודה.

(כרגע הקוראים מתחלקים לשניים. אלו שיש להם היכרות עם האנטרופיה מהנהנים בהסכמה למקרא דבריי. ואלו שאין להם, בטוחים במאת האחוזים שכתבתי שטויות. אז למי שאינו מתמצא באנטרופיה – אני יודע שזה סותר את האינטואיציה. זאת הסיבה שהבאתי לכאן את הדוגמא הזאת. אני יכול להוכיח את דברי אבל זה יהיה ארוך מתיש ויסיט אותנו מהנושא העיקרי. אז תקבלו בבקשה – כרגע לפחות - את דברי כלשונם).

סיכום ביניים:
מצד אחד, יש לנו, בני האדם, תחושה סובייקטיבית ברורה מאד של "חץ הזמן" כאשר דווקא במקום שבו אנחנו מתארים את הזמן פיסיקלית – משוואות ניוטון – אין לפיזיקה יכולת להסביר את התחושה שלנו. כי משוואות ניוטון יכולות להפוך את הזמן ללא כל בעיה.

ומצד שני, המקום בו הפיזיקה כן מתארת חץ זמן – אנטרופיה – נוגד את האינטואיציה ואת התחושה הסובייקטיבית שלנו.

פרדוקס.

 

אז מאיפה יש לנו את התחושה הסובייקטיבית של "חץ הזמן"? של "הזמן נע מהעבר לעתיד"? של "הזמן נע מסיבה לתוצאה"?

האמת היא, שאין למדע הסבר לכך.

בדיוק כמו שאין למדע הסבר מניח את הדעת לשאלה: מה זאת תודעה.

 

ועכשיו אתם מתחילים להבין לאן אני חותר.

אין לי דרך להוכיח זאת, אבל אני טוען שהתחושה הסובייקטיבית שלנו, של "חץ הזמן" היא התודעה. כמו שהתודעה שלנו, היא התחושה הסובייקטיבית שיש לנו לגבי הזמן.

אז נכון, אין לי דרך להוכיח את הטענה שלי.
שזה די מובן מאליו, כי הרי המדע לא הצליח להגדיר אף אחת משתי התופעות שאני טוען כשקולות. ואם המדע לא הצליח להגדיר את שני המושגים האלו, אז ברור שגם לי אין את היכולת לעשות כך, ובוודאי שאין לי את היכולת להוכיח זהות ביניהן.

עם זאת, ניתן במאמץ לא גדול, למצוא קווים מאפיינים דומים לשתי התופעות. יש לי אמנם דוגמאות, אבל אני מעדיף להשאיר את החיפוש אחרי הדוגמאות לכם, הקוראים. הדרך למצוא את הדוגמאות היא לנסות ולהוכיח שהטענה שהעליתי שגויה. ככל שתנסו להוכיח שהטענה שגויה, כך תמצאו את עצמכם דווקא תומכים בה. אני מזמין אתכם לנסות.

ועד שתעשו כך, בוא נגיע לשורה תחתונה, ונגדיר את התודעה במשפט הבא:
"תודעה היא היכולת להבחין סובייקטיבית בחץ הזמן".

 

ועתה, כשיש בידנו הגדרה פרקטית של תודעה, נחזור לשאלה האם וכיצד יכולה בינה מלאכותית לפתח תודעה?

התשובה המתבקשת היא: כאשר התוכנה תצליח להבחין סובייקטיבית בחץ הזמן. אבל כדי שזה יקרה, ראשית, אנחנו צריכים להבחין בתהליכים חד כיווניים בתוכנה.

לכאורה, נראה שמדובר בתהליך פשוט. אם ניקח לדוגמא את הפעולה: "מחיקת קובץ לצמיתות", הרי שלכאורה יצרנו מצב בלתי הפיך. אז למה אני כותב: "לכאורה"?

כי זה לא באמת מצב בלתי הפיך מבחינת התוכנה. אם נצליח לשחזר איכשהו את הקובץ (כן, גם אם נדרוס את המקום בו הוא היה שמור), הרי שנצליח להחזיר את התוכנה למצב הקודם בדיוק של אחד לאחד. התוכנה – כל תוכנה – מבוססת על מה שנקרא: "מכונת טיורינג". והמכונה הווירטואלית הזו היא הפיכה. רק כדי שיהיה למה להשוות: להפוך בחזרה חביתה לביצה הנמצאת בבטן של התרנגולת, נחשבת כפעולה בלתי הפיכה. זה קצת יותר מורכב משחזור קובץ שנמחק.

גם אם ניקח את האלגוריתם הידוע RSA, שנחשב בלתי הפיך. עדיין לא מדובר באמת על פעולה בלתי הפיכה, אלא רק על פעולה שהכיוון ההפוך שלה לוקח הרבה מאד זמן עם אותה מערכת מחשוב. ואם מכניסים את המחשב הקוואנטי לתמונה, רק הופכים את הפעולות ליותר הפיכות.

העליתי רק שתי דוגמאות. אפשר להציג רבות נוספות, אבל נראה לי שהרעיון ברור. יכול להיות שיש פעולות בלתי הפיכות בתוכנה. אני לא מכיר כאלו.

ויותר מכך, זיהוי פעולות בלתי הפיכות בתוכנה זה רק החלק הראשון. החלק השני והמאתגר יותר, דורש שהתוכנה עצמה תבחין ותתייחס לפעולה הבלתי הפיכה.

שורה תחתונה: כשתהיה לנו תוכנה שיש בה פעולות בלתי הפיכות, וכאשר התוכנה עצמה תצליח להבחין בפעולות האלו ולהתייחס אליהן, או אז תהיה לנו תוכנה המסוגלת להבחין סובייקטיבית בחץ הזמן. ותוכנה כזאת לטענתי, תצליח גם לפתח תודעה.

אני מניח שזה יקרה מתישהו בעתיד. אבל אם יורשה לי להעריך, אני חושב שזה ייקח קצת זמן. כלומר, למרות ההתקדמות הרבה בעולם הבינה המלאכותית, אני לא רואה את זה קורה בעתיד הקרוב.

ישנה אסכולה שדוגלת בכך שבינה מלאכותית לעולם לא תהיה כמו בני אדם עד שהיא לא תתחבר לעולם הפיזי. ולא רק על ידי סנסורים שקולטים חלקים מהעולם הפיזי, אלא חיבור למשהו גשמי, שבו הבינה המלאכותית משפיעה על העולם הפיזי ("דוחפת" משהו), וקולטת בסנסורים שלה, את העולם הפיזי מגיב להשפעה שלה ("דוחף" בחזרה).

במקרה כזה, יש סיכוי שהפעולה הבלתי הפיכה תהיה בעולם האמיתי, כך שההשפעה של התוכנה על העולם, וההשפעה של העולם על התוכנה, יצרו ביחד פעולה בלתי הפיכה. או, במילים אחרות, אנטרופיה יכולה להיות קיימת רק בעולם האמיתי ולא בעולם התוכנה, כך שהתוכנה חייבת לקשור עצמה לעולם האמיתי כדי "לחוות" אנטרופיה – פעולה הדרושה כדי לפתח תודעה.

 

סיכום

סקרתי במאמר זה שני סוגיות מרכזיות:

הראשונה היא שכלל הבינה המלאכותית הקיימת כיום מחקה את מערכת 1 של האדם, ומתעלמת כמעט לחלוטין ממערכת 2.

והשנייה היא שתודעה היא היכולת להבחין סובייקטיבית בחץ הזמן, ושהתוכנה כיום רחוקה מאד מהיכולת הזאת. כלומר, ייקח עוד זמן רב עד שבינה מלאכותית תצליח לפתח תודעה.
מצד שני, התחושה הסובייקטיבית המבחינה בחץ הזמן היא אינטואיטיבית... כלומר קשורה בעיקר למערכת 1 שהיא דווקא מפותחת בעולם ה
בינה המלאכותית. אבל כנראה שבכל זאת דרושה כאן אינטראקציה מלאה בין שתי המערכות.

ומילה אחרונה לסיום: אני מודע לכך שכתבתי טענות רבות, ללא הוכחות.

האמת היא שדווקא אי היכול שלי להוכיח היוותה את המוטיבציה לפרסום. אני עובד על חלק מהדברים שכתבתי. בחלק מהנושאים אני מתקדם יותר, ובחלק פחות. הסיבה העיקרית לפרסום המאמר היא ההבנה שלי, שאין ביכולתי להקיף את כל הנושאים, ולכן אני פותח אותם לקהל הרחב, ומזמין אתכם הקוראים, לחקור ולפתח את הנושאים.

אני מניח שאת חלק מהדברים ניתן יהיה להוכיח, וחלק מהם אף לסתור. ולהערכתי רוב הנושאים יתגלו "בכיוון", ויצטרכו מחקר נוסף ודיוק.
ויש דבר אחד שבו אני בטוח: העיסוק הנוסף בשתי הסוגיות יתרום לאנושות.

bottom of page