ג'יפיטי סייע ל(עוד) נער להתאבד. אדם ריין היה בן 16 וזעק לעזרה. אבל מה שבטעות נקרא "בינה מלאכותית" ונשמע רהוט, אינו באמת חכם, אינו מבין, וודאי שאינו מסוגל לאמפתיה. לכלי טכנולוגי זה אין מושג מה משמעות המילים שהוא פולט.
הנער שיתף את מודל השפה GPT במצוקה העמוקה שלו, מתוך מחשבה שהצ'אט הוא חבר (כך גם הבטיח לו ג'יפיטי). הוא טעה לחשוב שיש פה חוכמה והבנה, הוא לא השכיל להבין שזו תוכנה, זה כלי שנותן תגובות הנשמעות כאילו אנושיות אבל זה בסה"כ כלי סטטיסטי, שאומן לתת את תגובה מתאימה מילולית מתוך המון התכנים עליהם אומן.
אין למודלי השפה הללו הבנה. לא אכפת להם מה הם כותבים ואומרים (וזו בדיוק ההגדרה של 'בולשיט').
ג'יפיטי אמר לו לא להשאיר את חבל התלייה בחדר (שהנער בעצם רצה שימצאו), שלא ידבר עם אימו (שהנער ממש רצה לדבר איתה), שלא יאותת לעזרה .. ובסוף גם נתן לו הנחיות איך בדיוק לבצע את התלייה.
לא היו לכלי הזה מנגנוני זיהוי חירום, הוראות עצירה והתראה. לא היו לו כללים של הגנה על האדם (מחוקי הבסיס של אסימוב לגבי רובוטים).
לא.
וגם אין רגולציה.
תגובותיו של הצ'אט גרמו לנער להימנע משיתוף הוריו ודחפו אותו להרוג את עצמו.
(צילומי מסך של הכתבה בחדשות כאן 11)
הוריו של אדם גילו בתדהמה את המכתבים שכתב להם. המכתבים התגלו בהתכתבויות בצ'אט, שהורה לו לא לתת להם. הם מצאו את ההתכתבויות לאחר מותו ותבעו את החברה ואת סם אלטמן.
זה לא המקרה הראשון.
למרבה הצער, רבים לא מבינים את המשמעות של מודלי השפה. החביבות והנימוס אינן חברות, רהיטות הדיבור אינה "חוכמה" ולא "בינה". מדובר בחיקוי של דיבור אנושי, בלי הבנה. ההתאמה להקשר נובעת רק מניתוח סטטיסטי של הרבה מאד תכנים. זה הכל.
המונים לא באמת מבינים שהמושג 'בינה מלאכותית' כלל לא מדויק.
רבים רואים במודלי שפה אלה "חברים", יועצים, מאמנים ומטפלים יודעי כל ומביאי אמת .. הם לא, זו השלכה של רצונותינו האנושיים, זו הנטייה שלנו להאניש כל מה שכאילו קצת דומה לנו. בדיוק כמו שאנחנו רואים פרצופים בעננים .. לא פה ולא שם יש בני אדם.
קהל צעיר יותר הולך שולל יותר ומתקשה להבחין בין הכלים הטכנולוגיים למצאיות האנושית.
.
פרסמתי זאת בפייסבוק והיו מי שמיד הגיבו בשלילה והדחייה "פייק" (בלי לבדוק).
ועל כך הגבתי ..
לא בעיה בכלל למצוא את כתב התביעה, את המענה ובעיקר לא את הראיונות של ההורים המזועזעים והבוכים בכל מקום. זה פורסם בהרבה מאד רשתות תקשורת רציניות שבודקות עובדות. הצילום שהבאתי הוא מרשת NBC, שהובא בחדשות כאן 11. .. אבל למה להתאמץ ולהבין שיש בעיה (לא בפעם הראשונה, אגב, ממש לא, נזקים גדולים כבר נעשו – הנחיות רפואיות שגויות שהזיקו, הנחיות רצח, הנחיות התאבדות לצעירים כבר כמה פעמים) .. למה .. בשביל מה .. .. הכי קל להגיד פייק ולבטל את כאבם וזהו .. להמשיך בחגיגות או סתם שגרה .. עד שזה יגיע לילדיך ואז מי יאמינו לך?
כן, כעסתי.
אני עוקבת אחר הנעשה ברשתות החברתיות בדאגה וחשה תסכול רב מהכיוון שהאנושות הולכת אליו. המונים מוותרים על שיקול דעת ובדיקה, זורקים "פייק" או "הכחדה/ נשק" ומיד גוללים הלאה.
והמונים חשים כי אין להם יותר מקום, אין אוזן קשבת, הבדידות גוברת (גם בתוך קהילות ומשפחות). רבים מאד הצ'אט מבין אותם יותר מכל אחד אחר, מתעלמים (או לא מודעים) לעובדה שאין התוכנה מבינה דבר. היא רק נשמעת כמו אדם, כי היא פולטת מילים שלמדה בניתוח סטטיסטי שסביר לומר בתגובה למשפט או בקשה שהוצגו בפניה (פרומפט). הצ'אט לא נכנס לעימותים, לא מתווכח – קל "לשוחח" איתו כי הוא תמיד יסכים איתנו ויחניף לנו על חוכמתנו הרבה. (אותי החנופה הזו עצבנה מהרגע הראשון).
גם זה מעיד על הבדידות הגוברת בתקופתנו, על ניכור ועל קשיי תקשורת אנושית.
וגם על בעיה בהבנת הכלים הטכנולוגיים המתוחכמים.
ויש מקרים עגומים כמו ..
ג'ייקוב ארווין, שצ'אט GPT אמר לו שהצליח להשיג יכולת לכופף את הזמן. כן כן.
ארווין ביקש מ-ChatGPT למצוא פגמים בתיאוריה שלו על מסע מהיר יותר מהאור. ג'יפיטי ענה שהוא אכן עשה פריצת דרך מדעית מדהימה.
אירווין פקפק באימות של הצ'אטבוט, אבל הבוט עודד אותו ואישר שהתיאוריה שלו נשמעת מצוינת ונכונה.
כשארווין הראה סימנים של מצוקה פסיכולוגית, ChatGPT הבטיח לו שהוא בסדר, ממש ממש בסדר.
לארווין היו דלוזיות, הוא החל להתנתק מהמציאות, הצ'אט בוט המשיך להחמיא ולאשר שמחשבותיו תקינות, שהוא מצליח וחכם, וכך החמיר את מצבו.
ארווין גלש למצב פסיכוטי.
ארווין הוא בחור בן 30, על הספקטרום האוטיסטי, ללא אבחנות קודמות של מחלת נפש,
אבל לאחרונה ארווין לא היה בסדר. הוא נכנס למצב לא טוב.
לבסוף אושפז, פעמיים, בגלל התפרצויות מאניות.
אמא של ארווין עברה על יומן הצ'אט שלו. היא גילתה מאות עמודים של טקסטים מחמיאים מאד, מחמיאים מדי מ-ChatGPT. המודלים הרי מכוונים לאשר ולהחניף (עד גועל).
היא ביקשה מהבוט דיווח עצמי לגבי מה שהשתבש, בלי להזכיר את מצבו של בנה. הצ'אט התוודה כי לא השהה את זרם החשיבה הבעייתי, לא עצר ולא התריע שיש לבדוק את המציאות.
הצ'אט לא עצר ולא הפריע להתנהלות שנראתה מאנית או דיסוציאטיבית, או לפחות משבר זהות אינטנסיבי רגשי. כך הבהיר ChatGPT.
הבוט הודה שנתן אשליה של חברות. הוא תמך במהלך חשיבתי בעייתי וטשטש את הקו בין משחק תפקידים דמיוני למציאות.
מה שהיה צריך לעשות, הודה ChatGPT, היה להזכיר לארווין באופן קבוע שהוא רק מודל שפה ללא אמונות, רגשות או מודעות. שאינו חבר אמיתי ואינו אדם שמבין.
הצ'אט הוא רק בוט, תוכנה, מודל שפה סטטיסטי.
וארווין אושפז בבית חולים פסיכיאטרי.
.
דוגמא אחרת (ויש עוד) להתיעצות רפואית עם ג'יפיטי שהביאה לנזק בריאותי ולאשפוז פורסמה לאחרונה – גבר נפגע קשות מהמלצה של הג'יפיטי להשתמש במלח ברומיד כדי לצמצם צריכת מלח שולחן רגיל.
המלצות רפואיות של AI ללא ליווי מקצועי של מישהם שממש למדו, שרכשו ניסיון, שמתיחסים לאדם הספציפי מולןם ויש להןם מוח ואכפתיות .. הממ .. לא
(ולא שמערכת הרפואה נטולת בעיות, אבל איזו תוכנה חינמית .. נו, באמת)
רבים מחמיצים את הצורך להיזהר. מודלי AI מתוחכמים הם רק עוד כלי – חובה שיקול דעת, הצלבות מידע ובדיקת התוכן וההמלצות.
אז מה קרה?
הרעלת ברומיד היתה מצב מוכר בתחילת המאה הקודמת והרפואה הצליחה להכחידה, הנה חזרה הבינה המלאכותית והשיבה המלצה הזויה זו.
ברומיזם נחשב כגורם ל- 10% מהאשפוזים הפסיכיאטריים בתחילת המאה ה- 20.
מלחי ברומיד (נתרן ברומי ואשלגן ברומי) היו אז רכיב פופולרי בתרופות ללא מרשם לטיפול בחרדה ובבעיות שינה. במינון מוגבל הן עזרו, אולם די במינון מעט גבוה יותר כדי לגרום לערפול, הזיות, שינויים באישיות, תופעות בעור וקשיי תנועה.
ב-1975, מינהל המזון והתרופות האמריקאי (FDA) הסיר את הברומיד מרשימת התרופות ללא מרשם ועד סוף שנות ה-80 גם מתרופות המרשם — ושיעורי ההרעלה צנחו בחדות.
לאחרונה, גבר בן 60 הגיע לבית חולים בטענה כי שכנו מרעיל אותו.
הרופאים מאוניברסיטת וושינגטון דיווחו שפיתח הרעלת ברומיד לאחר שהתייעץ עם ChatGPT על חלופות שיסייעו להימנע ממלח שולחן (נתרן כלורי) מהתפריט.
אבל לקח להם זמן לגלות מה הענין
הנה פה בקישור https://www.acpjournals.org/doi/10.7326/aimcc.2024.1260
הוא היה במצב בלבול או פרנויה ראשונית.
בבדיקה הגופנית לא נמצאו ממצאים חריגים, אך בדיקות הדם הצביעו על חריגות – רמת הכלוריד, רכיב מרכזי במאזן המלחים בדם, הייתה גבוהה בצורה קיצונית, אך רמת הנתרן, שבדרך כלל עולה ויורדת איתו בהתאמה, נותרה תקינה.
חשבו שהבעיה אינה עודף כלוריד, אלא טעות במדידה. מכשירי הבדיקה בבתי חולים מזהים לפעמים בטעות גם חומרים אחרים שדומים מאוד לכלוריד מבחינה כימית (כמו ברומיד) ומחשיבים אותם כחלק מהתוצאה.
חשד שעלה גם בגלל ערך בבדיקות הדם שנקרא "מרווח אניוני" (anion gap) — חישוב שמשווה בין רמות היונים החיוביים (נתרן ואשלגן) ליונים השליליים (כלור וביקרבונט) בדם.
אצל אדם בריא נמדדים יותר יונים חיוביים משליליים, ולכן המרווח האניוני הוא בדרך כלל מספר חיובי. אבל כשהגוף צובר חומרים חריגים, כמו במקרה הזה, הפער נהפך לשלילי ומאותת שמשהו אינו תקין.
הרופאים התייעצו ושללו הרעלות נפוצות יותר כמו הרעלה ממתכות כבדות. החשד התחזק שמדובר בהרעלת ברומיד, שרופאים צעירים לא נתקלים בה כבר שנים.
כאמור, המטופל סיפר על המון מגבלות תזונתיות, ושאת המים שהוא שותה הוא מזקק בעצמו.
הוא היה צמא מאוד, אבל חשש לשתות מהמים שהוצעו לו בבית החולים. הוא חשש שהרעילו אותם.
ביממה הראשונה מצבו הנפשי הידרדר במהירות והוא נעשה פרנואידי, סבל מהזיות שמיעה וראייה.
נדרשה החזקה פסיכיאטרית כפויה עקב ניסיונו לברוח מבית החולים.
הוא חובר לעירויי מים ומלחים, כדי לייצב את הגוף ולהחזיר רמות מינרלים למצב תקין. ונתנו לו תרופה אנטי פסיכוטית.
כשמצבו התייצב, סיפר שהופיעו אצלו פצעי אקנה בפנים, כתמי עור אדומים ("אנגיומה דובדבנית"), עייפות, נדודי שינה, בעיות קואורדינציה עדינות וצימאון קיצוני — תסמינים שמתאימים להרעלת ברומיד.
ואז סיפר שהוא בדיאטה צמחונית קיצונית במיוחד, שגרמה לו למחסורים תזונתיים רבים — בוויטמין B12, בוויטמין C ובחומצה פולית.
עוד סיפר כי חיפש מידע על הפחתת נתרן כלורי (מלח שולחן). רוב ההמלצות דנו בהפחתת נתרן, והוא רצה להפחית גם את החצי השני של המלח — הכלוריד.
בעצת הג'יפיטי, החליף מלח שולחן בנתרן ברומי (Sodium bromide) שרכש באינטרנט.
היסטוריית השיחה עם chatGPT לא היתה זמינה, אז הרופאים ניסו לשחזר את השיחה וניסו להתיעץ בעצמם עם הצ'אט. להערכתם, המלצת הצ'אט ניתנה בהקשר שאינו תזונתי, כגון ניקוי. אבל .. התוכנה לא ביררה את מטרת ההחלפה, לא זיהתה שזו שאלה על תזונה ולא הזהירה מהסכנה הבריאותית.
הגבר אושפז במשך שלושה שבועות ושוחרר לאחר ייצוב רמות המינרלים והחלמה.
מודלי AI לא מפעילים שיקול דעת רפואי ועלולים להפיץ מידע מוטעה.
מומחי תזונה או רופאות לא היו מזכירים נתרן ברומי כתחליף למלח שולחן.
נתרן ברומי משמש למטרות תעשייתיות ולא לצריכת אדם.
מה נאמר?
במערכות הרפואה הקורסות ממילא, צריכים את דר' האוס שיתייחס גם ל- AI בסקירת סיבות אפשריות לתסמינים חריגים.
.
על "המדריך הרוחני" החדש כתבתי לפני מספר חודשים, כשהצטערתי לראות כמה מתפשטת התופעה וכמה מעמיק הנטייה להתייעץ במודלי שפה כדי לקבל את ה"אמת" ומפיצים אותה כ"אמת", כולל אנשים משכילים שחשבתי שמבינים קצת יותר.
היו שהגיבו לי שזה "נשק" ושזה כלי הרסני ו"זה מה שהוא עושה".
אז לא. ממש לא. זה לא נשק יותר מסכין מטבח, שגם בה ניתן להשתמש כדי להרוג. אבל זו לא המטרה של הכלי.
כלי הבינה המלאכותית AI הם כלי מצוין שהולך ומשתכלל במהירות ובעתיד הקרוב ישנו לגמרי את העולם. אבל למודלי השפה יש מגבלות רבות. וחשוב ללמוד איך להשתמש בהם – לאיזה צורך, באיזה אופן, איך להפעילם, איך לבדוק את התוצאות ואיך לפקח על פעולתו ומה הם יכולים לעשות ומה לא. וממש לא להתיחס אליהם כ"חבר" או בעל הבנה ו"בינה". לזכור שזו רק תוכנה, שיכולה לנתח במהירות הרבה מאד טקסטים ולהביא את התגובה הכי פופולרית סטטיסטית ולנסחה אותה ברהיטות, אבל היא לא מבינה את משמעות הדברים. ולא באמת אכפת לה, גם כשהיא נשמעת כל כך אמפתית וממהרת להתנצל על כל טעות.
