_edited.png){kind=small}
שפת מכונה | טור 01
- בועז לביא
- 12 בפבר׳ 2020
- זמן קריאה 5 דקות
[הטור מתפרסם במקור ב-"עליית המכונות" - קבוצת פייסבוק העוקבת אחר התנודות במאזן הכוח, האימה והאושר, בין הטכנולוגיה לבני האדם.]
על גלידה בטעם צער ועל הפתיחה הגרועה ביותר בעולם
היה זה לילה חשוך וסוער. לא אני כתבתי את זה. ב-1830 יצא לאור באנגליה הרומן "פול קליפורד", מאת אדוארד בולוור-ליטון, וכך הוא נפתח. להגנתו של בולוור-ליטון ייאמר, שהוא לא העתיק מאף אחד, והיה הראשון לעשות שימוש בתיאור האייקוני, שיהפוך לסמל של כתיבה גרועה. באותן מלים נפתחו אחר כך אינספור סיפורים וספרים, טיוטות בסדנאות כתיבה, ובעיקר פרודיות על ספרות המסתורין, הבלש והאימה. מאז 1982 מתקיימת אפילו תחרות על שמו של אותו בולוור-ליטון אומלל, שבה מתחרים כותבות וכותבים על חיבורה של הפתיחה הגרועה ביותר. המנצחת של שנת 2011, למשל, הייתה סו פונדרי, מאושקוש, ויסקונסין, שהיממה את השופטים עם רצף קלישאות מחריד: "מוחה של שריל הסתחרר כמו להביה של טחנת רוח, שקצצו את מחשבותיה דמויות הדרורים לחתיכות עקובות מדם שהתקבצו לערמה הולכת וגדלה של זיכרונות נשכחים".
כל הפתיחות הטובות דומות זו לזו. אך הפתיחות הגרועות - גרועות הן כל אחת על פי דרכה. אולי זה לא נכון, אבל לפחות זה נשמע טוב. בספרות האנגלית מככבות שורות הפתיחה של "בין שתי ערים", מאת אשף הפתיחות צ'רלס דיקנס: "היה זה הטוב שבזמנים, היה זה הרע שבזמנים; היה זה עידן החוכמה, היה זה עידן הטפשות..." וכן הלאה. לב טולסטוי סייע בכתיבת הרישא לפסקה זו עצמה, עם קביעתו הנודעת בפתח "אנה קרנינה": "כל המשפחות המאושרות דומות זו לזו. אך המשפחות האומללות - אומללות הן כל אחת על פי דרכה". ואילו בעברית נחקקה בזיכרון הקולקטיבי הפתיחה של "זיכרון דברים", מאת יעקב שבתאי, שלא אצטט כאן בשל אורכה, ורק אציין שמעורבים בה מכשיר לתרגול שרירי הזרוע ומותו של אב. מה בעצם ההבדל בין פתיחות הנחשבות ליצירות מופת קטנות, לבין ליל הזוועות של בולוור-ליטון? אם תשאלו את ג'אנל שֵיין, היא תשיב במילה אחת: טמפרטורה.
ג'אנל שֵיין היא פיזיקאית שעובדת בפיתוח הולוגרמות עבור תחנת החלל הבינלאומית ועבור חקר המוח, אך את תהילתה המסוימת היא קוצרת בינתיים בזכות בלוג בשם "מוּזָרוּת הבינה המלאכותית" (AI Weirdness). ואם בשעות העבודה שלה היא עוסקת בנושאים שיצילו אולי, יום אחד, את העולם כולו, את שעות הפנאי שלה היא מקדישה לנושאים חשובים הרבה יותר: מה יקרה אם ניתן לרשת נוירונים מלאכותית – המודל הנפוץ ביותר כיום ליישומים בתחום עיבוד השפה – להמציא שמות לפשטידות? ואם כבר פשטידות, מדוע לא שמות לקבוצות פוטבול, לגוונים של ורוד, לשרקנים, לתחפושות לליל כל הקדושים, לפטריות, לנחשים, לחטיפים, לדמויות במלחמת הכוכבים, לזבובונים, לסוסי מרוץ, לבירות בוטיק ולסרטי חג המולד?
באחד מניסוייה אספה שיין, בעזרת כיתה של ילדים מחטיבת ביניים באוסטין, טקסס, 1600 שמות של טעמי גלידה. היא הזינה אותם לרשת נוירונים, שאומנה לזהות את הדפוסים האופייניים להם, ונתנה לרשת לנקוב בשמות טעמי גלידה משלה. הרשת הגתה את שמות טעמי הגלידה המגרים מאוד הבאים: קפה מדמם, רפש חמאת בוטנים, מחלת קרם תותים, גרבי קרמל, אגוז חזיר, צפרדע טופי, צער, קשיו שומני, בייקון וניל, ושוקולד לרחצה. ראוי אולי לציין שקודם לכן אומנה הרשת על שמות של להקות מטאל, והזכרון שלה מהם טרם נמחק. בניסוי אחר הזינה שיין רשת נוירונים במתכונים, ונתנה לרשת לחבר מתכונים על דעת עצמה. את מתכון עוגיות הבראוניז-חזרת, שהפיק האלגוריתם, טוענת שיין כי אפתה בדיוק לפי הוראות המכונה, ואף טעמה. לדבריה, זה דוחה כמו שזה נשמע.
אבל הגביע הקדוש של שיין הוא בניית אלגוריתם שמייצר פתיחות לספרים. ההשראה נחה עליה בנובמבר 2017, כשהשתתפה באתגר כתיבת הרומן בתוך חודש (NaNoWriMo), ומצאה את עצמה בוהה, נואשת, בעמוד הראשון של מסמך ריק. כמו בכל ניסוי אלגוריתמי כזה, המצרך המרכזי שלו נזקקה שיין הוא דאטה, והרבה. היא סרקה פתיחות של קלאסיקות – ספריו של דיקנס למשל, שנגישים דרך פרויקט גוטנברג – ואימנה עליהן רשת נוירונים מלאכותית. אבל כשאין מספיק דאטה, הרשת תפגין לא יותר מאשר כישורי קופי פייסט משוכללים. ואמנם, בשלב זה הפיק למשל האלגוריתם ואריאציות נונסנס מעגליות על הפתיחה של "בין שתי ערים": "השלג בסיפור של התקופה הטובה ביותר, הייתה זו עונת החושך, הייתה זו עונת האור, היה זה עידן האמונה, הייתה זו עונת האור, הייתה זו עונת החושך...". שיין חיפשה משהו טוב מזה.
הרעיון הבא היה להשתמש במה שנצבר בתחרות בולוור-ליטון; כל 900 הפתיחות הגרועות שהוגשו לתחרות הפתיחה הגרועה ביותר המתינו לה בבסיס הנתונים האינטרנטי של המארגנים. אבל גם הפעם היו הפתיחות שהניבה רשת הנוירונים גרועות, שכן הן התבססו בעצמן על פתיחות גרועות. וכיוון שהאוסף אינו גדול במיוחד, הרשת גם לא הצליחה ללמוד כיצד להפיק בעצמה פתיחות קוהרנטיות יותר מאשר זו, למשל: "השעועית איתו פתאום בתא המטען של חוסר שיווי משקל באמת מתה, ואז כל הזמן פטיש את ראשו בתמיהה ערמומית כמפץ, וחוק טוקסידו כושל של עיניים אימהות כמו קנס כי לעזאזל של אותה אמורה על ידי התלקחות הגשם של חור המים היכן שהוא נמצא זמן רב הייתה מטורפת".
פריצת הדרך אירעה כאשר החליטה שיין לבצע קמפיין גיוס המונים – של מילים. היא פנתה לעוקביה וביקשה מהם להזין עבורה, בעמוד ייעודי, פתיחות ספרותיות מכל סוג, אפילו כאלו של סיפורים פרי עטם. בתוך חודש נאספו כ-10,000 פתיחות, רובן מתחומי המדע בדיוני והפנטזיה. סוף סוף הצליחה הרשת ליצור כמה פתיחות עם פוטנציאל. ביניהן: "אני יודע שהם מההר". או: "אני לא מלך". וגם: "אני חייבת לכתוב לשכניי על החיה". רשת הנוירונים אף הצליחה להסיק בעצמה שמזג אוויר הוא נושא לא רע לפתיחות, אם כי ברוב המקרים כשלה בביצוע, למשל עם: "ערב השמש זרח מחלקו האחורי של הבית, אך גם שלושת אלפים, כאילו מדובר היה באדם טוב". שיין הניחה לפרויקט; אולי חשבה שזה הכי רחוק שתגיע. אך ב-2019 נחתה בידיה מכונת פלאים בשם GPT-2.
מדובר במודל לעיבוד שפה שפותח על-ידי OpenAI (חברה אמריקאית העוסקת במחקר בתחומי הבינה המלאכותית), נחשף לציבור השנה, והציג יכולות ניבוי טקסט שלא נראו בעבר. לפני כחודש אימנה שיין את אחת מגרסאותיו של GPT-2 על מאגר הפתיחות שכבר עמד לרשותה, והתחילה לשחק עם המאפיינים של רשת הנוירונים – קצת כמו שמפיק מוזיקלי מסובב את כפתורי תוכנת הסאונד שלו, רק עם קוד. או אז גילתה שיין את מאפיין הטמפרטורה. זה איננו מדד של חום פיזי, אלא של משהו לגמרי אחר. ברשת עיבוד השפה של GPT-2, מוגדרת הטמפרטורה באמצעות מספר בין 0 ל-1; ככל שהטמפרטורה קרובה ל-0, הטקסט הנוצר נוטה אל השמרני, כלומר מסתמך על מבנים הקיימים כבר בבסיס הנתונים, וככל שהיא קרובה ל-1, הטקסט נע בכיוונים פרועים, אקראיים. שיין גילתה שטמפרטורה של 0.7 מאפשרת לרשת לחבר את הפתיחות המוצלחות ביותר, שלא רק עומדות בכללי התחביר והדקדוק, אלא גם נושאות עמן את התחושה המסקרנת שאופיינית לפתיחות ספרים טובות. בעזרת GPT-2, מכוון לטמפרטורה של 0.7, חילצה שיין מן המכונה את הפתיחות הבאות:
"האבן השחורה התייסרה בכאב מן הגשם."
"הירח עמד נמוך בשמיים, כאילו נשלח מן המחוזות הרחוקים ביותר של מערכת השמש."
"שיחקתי עם כלבי, מארק הלברדור החום, ושכחתי שאני משחק גם עם איש מת."
למרות הטמפרטורה הנעימה, המערכת ניפקה גם כמה פתיחות שהיו זוכות בלי ספק בפרס מפעל חיים על-שם אדוארד בולוור-ליטון. למשל זו:
"הייתה פעם ארץ של חול, וחול, חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול חול."
בינה מלאכותית היא עסק מוזר. גם אם יש בה עוד מה לשפר, שורות הפתיחה האלגוריתמיות פתרו מן הסתם לשיין את בעיית המסמך הריק, כי בינתיים כבר הוציאה לאור ספר, המתאר, מן הזווית הייחודית שלה, את ניסוייה הביזאריים. את שמו המשונה של הספר בחרה כמובן שיין מתוך רשימת שמות שהציעה לה המכונה: "את נראית כמו דָּבָר, ואני אוהב אותך". שזה עדיף כנראה על שם אחר שהציע לה האלגוריתם: "חורבן האנושות".
פורסם במקור ב-12.12.2019
בועז לביא הוא תסריטאי, יוצר קומיקס ומרצה על אלגוריתמים כותבים.
