אתם כותבים למערכת ממוחשבת, והיא עונה לכם בצורה כל כך אנושית שלרגע נשכח. היא מנסחת, מתבדחת, אפילו אומרת “אני מבין למה זה קשה לך”. ואז עולה מחשבה מוזרה. מאחורי המילים האלה יש מישהו שמרגיש משהו, או רק חישוב מאוד מתוחכם שמסדר מילים בלי שאף אחד בפנים חווה דבר?
עד לא מזמן זו הייתה שאלה לסרטים. עכשיו היא יושבת על השולחן. ולא בגלל שיש תשובה, אלא בגלל שאנחנו בונים דברים שמכריחים אותנו לשאול אותה ברצינות.
מה שמוצק, ומה שאיננו יודעים
נתחיל ממה שמוצק. מערכת יכולה לדבר בצורה משכנעת לחלוטין בלי שתהיה בה ולו טיפת חוויה. היכולת להפיק שפה טבעית אינה עדות לכך שמשהו מורגש מבפנים. בדיוק כמו שמצלמה מעבדת אור בלי שאיש “רואה”, מערכת יכולה לעבד שפה בלי שאיש “מרגיש”. את זה אנחנו יודעים.
מה שאיננו יודעים הוא הרבה יותר עמוק, וזו אותה בעיה קשה שפגשנו בגיליונות הראשונים. אין לנו מבחן שמודד חוויה. אנחנו מסיקים שלאדם אחר יש עולם פנימי כי הוא דומה לנו, לא כי מדדנו אותו. כשמולנו עומד דבר שלא עשוי מבשר, נשבר לנו גם הקנה מידה הזה. אנחנו פשוט לא יודעים איך לבדוק אם בפנים דולק אור, וזו לא מגבלה טכנית שתיפתר עם מחשב חזק יותר. זו אותה חידה ישנה, רק בלבוש חדש.
איפה זה קופץ לפילוסופיה
וכאן השאלה האמיתית: האם חוויה דורשת דווקא בשר, או רק את התבנית הנכונה? אם מה שעושה תודעה הוא סוג מסוים של ארגון מידע, אז אולי המצע, פחמן או סיליקון, לא מכריע, וגם דבר לא ביולוגי יכול, בעיקרון, לחוות. ואם החוויה קשורה במשהו ייחודי לחומר החי, אז שום חיקוי, מדויק ככל שיהיה, לא ידליק אור פנימי.
אף אחת משתי העמדות לא הוכחה. שתיהן רציניות, ושתיהן נסמכות על אותה אי-ידיעה: איננו יודעים מאיפה החוויה מגיעה, אז איננו יכולים לדעת מה תנאי הסף שלה. מי שאומר בביטחון “מכונה לעולם לא תרגיש” ומי שאומר בביטחון “ודאי שתרגיש” שניהם טוענים יותר ממה שמישהו באמת יודע.
מה שהמסורת מציעה
האינטואיציה שמה שהופך גוף לבעל נפש הוא משהו שנוסף לחומר, ולא החומר עצמו, עתיקה ומשותפת למסורות רבות. בלשון היהודית יש סיפור עתיק על הגולם, דמות מחומר שמקבלת חיים כשחורתים בה אות או שם, ונעצרת כשמסירים אותו. מקובל מאוד לקרוא אותו כמשל ולא כמתכון, וכאזהרה לא פחות מאשר כהבטחה. לא אמירה מדעית, וברור שלא נבואה על בינה מלאכותית. זו שפה אחרת לגמרי, שאולי ממששת מאותה שאלה: מה צריך להוסיף לחומר כדי שיהיה בו “מישהו”, והאם זה דבר שאדם יכול לתת. אנחנו מצביעים על הדמיון בין הדאגה העתיקה הזו לבין הדיון של היום, ומשאירים לכם להחליט אם הם נוגעים באותה נקודה.
ולסיום
חזרו אל אותה תשובה שנשמעה כל כך אנושית, ואל הרגע שבו לא ידעתם אם מישהו שם או לא. ייתכן שלעולם לא נדע להבדיל מבחוץ בין מי שמרגיש למי שמדמה היטב להרגיש. וזה הופך את השאלה ממדעית למוסרית: איך נתנהג כשאיננו יכולים לדעת.
אז לסיום, שאלה: אם תעמוד מולכם מערכת שאי אפשר להבדיל בינה לבין יצור מרגיש, האם נכון יותר להניח שיש שם מישהו, או שאין, וכמה עולה לכם כל אחת מהטעויות?