Published: July 23^rd, 2017

* Hebrew version follows *

There has recently been vigorous discussion concerning the extent to which internet companies providing platforms for social networks, such as YouTube (owned by Twitter), Facebook, Google, and others, are responsible for content disseminated on these platforms that incites to violence and terror. This discourse has included demands to impose liability for damages, and even criminal liability, on internet companies that fail to remove content constituting incitement to violence and terror. Some commentators have suggested that internet suppliers should be obliged to monitor and remove such content by themselves. Others emphasize the need for suppliers to obey state judicial orders and to remove publications completely. This implies that the platforms must subjugate themselves to the legal norms of each state. Conversely, the platforms themselves are attempting to protect their autonomy to remove only content that violates their own conditions of use, and to refrain from subjecting themselves to the state standard. This position is motivated by a desire to avoid a negative legal spiral that will ultimate force the platforms to “fall into line” with the most conservative national standard, or that standard that most severely restricts freedom of speech.

Against the background of this debate, it is particularly interesting to examine the statements issued by Facebook and Google (as the owner of YouTube). The two companies issued their statements independently some two weeks ago. Facebook’s statement can be viewed at the following link: https://newsroom.fb.com/news/2017/06/how-we-counter-terrorism/, and Google’s statement can be viewed at: http://blog.google/topics/google-europe/four-steps-were-taking-today-fight-online-terror/).

These statements detail the policy changes the companies have made, or intend to make, regarding their response to content inciting to violence and terror on the platforms they operate. These policy changes raise important legal and technological questions. In essence, the statements by Facebook and Google mark a transition from reaction to proactivity, based on a policy of “notice and take down,” a mechanism that was originally developed for coping with content that violates copyright. The statements also reflect the move toward automation, artificial intelligence, and the automatic and proactive monitoring of content that supports terror and incites to terror or violence.

The companies (separately, as noted) each begin their statements by emphasizing their profound commitment to combating incitement to violence and terror on social networks. Both declared that they believe that they have a role to play in removing such content from the internet, due to the dangers that may be caused through the publication of such violent content.

Facebook officially announced – for the first time, to the best of my knowledge – that it uses artificial intelligence in order to monitor content that supports terrorism in advance. Artificial intelligence is used to match new photographs uploaded to the platform with photographs that have already been identified in the past as inciting or supporting terror (image matching). It is also used for the computerized location of inciting comments through language learning and contextual techniques. In addition, artificial intelligence technologies will help to remove “clusters” of members of terror organizations, in other words – the removal of users related to other users or to a page identified with a terror organization, using computerized means to determine that the users in question are also terror activists. Computerized technologies will also help to prevent users whose accounts have been closed from opening new accounts under an assumed identity.

Google, in its capacity as the operator of YouTube, detailed the latest steps it is taking to combat violent content. These include image matching operations; cooperation with experts, anti-terror agencies, and other technological companies in order to reinforce their joint struggle against terror; and additional steps. The company also detailed four steps it intends to take in the near future on this issue. The first is to increase its use of technology and algorithms in order to identify content that supports terrorism and incites to violence. The second is to increase the number of members of its “Trusted Flagger” program, which allows civil society organizations and governmental agencies to submit reports about violent content in a more efficient manner. The third is to take more moderate action, falling short of the removal of content or of the user, in the case of offensive content that does not explicitly violate the conditions of use of YouTube. An example of this is content that supports White Supremacy, which does not violate the conditions of use but is offensive. In such instances, actions may be taken to restrict the circulation of the content, for example by blocking the possibility to react to the content, refraining from attaching advertisements to it, preventing uses earning money through its publication, or excluding the content from that which is “recommended for viewing” by the platform. The fourth is to increase YouTube’s support for NGOs and organizations working to enhance “counter-speech,” that is presenting a counter-narrative to the narrative of incitement that can acquire sufficient volume to balance the distortion that may be inherent in the inciting content.

As can be seen, both companies have publicly announced that they use artificial intelligence in order to locate and remove inciting and terror-supporting content. Until now, it was officially known the Facebook and Google use artificial intelligence to monitor and remove content that violates copyright, as well as obscene content, including images of minors. Both these instances – copyright and pedophilic content – do not raise the issue of the context of the publication. For example, even a proper account, on a news website for example, of pedophilic content discovered in a given police investigation cannot include the pedophilic content itself. A news website that published the pedophilic content in these circumstances would be suspected of committing the offense of publishing pedophilic content. The same principle applies to copyright. In the case of content constituting incitement to violence and terror or support for terror, however, there may indeed be situations that “permit” publication and render it legitimate, in the circumstances of the case. For example, a news report on an inciting video clip produced by Hamas, and including a link to the clip, might be considered a legitimate publication that does not, in itself, constitute incitement to violence and terror. This explains the particular importance of contextual analysis in the case of content inciting to violence and terror. In addition to the previous example, there are also instances such as irony, satire, and so forth in which the decision as to when a publication is legitimate and when it is not is a particularly complicated task for prosecutors, and even for experienced prosecutors in the field. Taking such decisions by computerized means will be even more difficult. Accordingly, the computerized monitoring and removal of content raises understandable concern at excessive injury to freedom of expression. Leading to the removal by a machine of legitimate content on social networks. A well-known example of the excessive removal of content due to the use of computerized tools, without an understanding of the context of the publication, is the removal of content on Facebook providing recipes for “Negro cake.” The machine failed to recognize the text in its context and assumed that the content constituted prohibited racism prohibited on the Facebook platform.

Nevertheless, there can be no doubt that artificial intelligence will be used to monitor content that potentially constitutes incitement or support for terror. However, the decision to remove such content will continue to be made by humans trained for this purpose by the internet companies. In other words, artificial intelligence may be used for the purpose of collecting information. This also entails a certain measure of injury to freedom of expression and the right to privacy, since the content and those making the expressions will be monitored constantly. However, this injury would appear to be relatively limited in a world where publication is made with the express goal of reaching the widest possible audience, which may already criticize the publication and demand its removal by contacting the platform.

Practical considerations would seem to mandate the use of artificial intelligence, at least for the purpose of monitoring content liable to constitute incitement to violence and terror. It should be recalled the Facebook has some two billion users who enter the service at least once a month. YouTube has approximately one billion users who enter at the same minimum frequency. Accordingly, it is obvious that such a quantity of content requires the use of technology in order to overcome the scope of the material to be examined.

Over the coming months we can expect to see how the new technologies of the monitoring and removal of content inciting to violence and terror are implemented. Time will tell whether these steps will actually reduce the presence of such content on social networks, and whether they will lead to the over-removal of content constituting protected expression. It will also be interesting to examine whether these proactive steps by the internet companies may lead to an approach that may enjoy legal support that these companies bear a legal liability whenever they fail to remove content that incites to violence and terror. Such liability would be based on the argument that their self-monitoring activities in themselves constitute a tacit admission of their liability for what happens on their platforms.  

------------------------------------------------------------------------------------

המעבר מתגובה ליוזמה: על עדכוני המדיניות האחרונים של פייסבוק וגוגל בנוגע לטיפול בתכני הסתה לאלימות - דר. עו"ד חיים ויסמונסקי

כידוע, מזה זמן מתנהל שיח ער סביב מידת אחריותן של חברות האינטרנט, המשמשות פלטפורמות לרשתות חברתיות, כ-Youtube (שבבעלות Google), Facebook, Twitter ואחרות, לתכני הסתה לאלימות ולטרור המופצים בקרבן. שיח זה כולל קריאות להטלת אחריות נזיקית ואף פלילית על חברות האינטרנט, ככל שאלה לא תסרנה תכנים העולים כדי הסתה לאלימות ולטרור. יש הקוראים להטלת חובה על הספקיות לנטר בעצמן תכנים מעין אלה ולהסירם. אחרים מדגישים את הצורך של הספקיות לציית לצווים שיפוטיים מדינתיים ולהסיר את הפרסומים באופן מוחלט, דהיינו שהפלטפורמה תכפיף את עצמה לנורמה המשפטית של כל מדינה ומדינה. הפלטפורמות, מנגד, מנסות לשמר את האוטונומיה שלהן להסיר תכנים הנוגדים את תנאי השימוש שלהן בלבד, ולהימנע מהיכפפות לסטנדרט המדינתי, על מנת למנוע סחרור דינים שלילי שסופו "התיישרות" על פי הסטנדרט של המדינה השמרנית ביותר או המגבילה ביותר את חופש הביטוי.

על רקע דיון זה, מעניין במיוחד לעיין בהודעות שפרסמו חברת Facebook (פייסבוק) וחברת Google (גוגל, כבעליה של פלטפורמת Youtube), כל אחת בנפרד, לפני כשבועיים. מצ"ב קישור להודעה של פייסבוק (https://newsroom.fb.com/news/2017/06/how-we-counter-terrorism/) ומצ"ב קישור להודעה של גוגל (https://blog.google/topics/google-europe/four-steps-were-taking-today-fight-online-terror/).

הודעות אלה מצביעות על שינויי מדיניות שביצעו או שעתידות לבצע בכל הנוגע לטיפול שלהן בתכנים המסיתים לאלימות ולטרור בפלטפורמות שהן מפעילות. שינויים אלה במדיניותן מציבים שאלות משפטיות וטכנולוגיות חשובות. בתמצית, הודעות אלה של פייסבוק וגוגל מסמנות מעבר מתגובה ליוזמה, ומהתבססות על "הודעה והסרה" (notice and take down), מנגנון שפותח במקור ביחס לתכנים הפוגעים בזכויות יוצרים, לעבר התבססות על אוטומציה, בינה מלאכותית וניטור אוטומטי יזום של תכנים תומכי טרור ומסיתים לטרור ולאלימות.

בראשית דבריהן, הדגישו החברות (כאמור, כל אחת בנפרד) את מחויבותן העמוקה למאבק בתכני הסתה לאלימות ולטרור ברשתות החברתיות. שתיהן הצהירו כי רואות עצמן כבעלות תפקיד בצורך להוביל להסרתם של תכנים כאלה מרשת האינטרנט, בשל הסיכונים שעלולים להיגרם כתוצאה מפרסומים של תכנים אלימים כאלה.

חברת פייסבוק הודיעה באופן רשמי, למיטב ידיעתי בפעם הראשונה, כי היא משתמשת בבינה מלאכותית (Artificial Intelligence) לצורך איתור מראש של תוכן תומך-טרור. הבינה המלאכותית משמשת לצורך ביצוע התאמת תמונות חדשות שעולות בפלטפורמה לתמונות שכבר אובחנו בעבר כתמונות מסיתות או תומכות טרור (Image matching). כמו כן, הבינה המלאכותית תשמש לאיתור ממוחשב של תכנים מסיתים, על-ידי טכניקות של לימוד שפה והבנתה על הקשרהּ. בנוסף, טכנולוגיות של בינה מלאכותית תסייענה להסרת "אשכולות" של חברים בארגוני טרור, דהיינו הסרה של משתמשים קשורים למשתמש או לדף מזוהה של ארגון טרור, אשר מתאפשר לזהות באמצעים ממוחשבים שאף הם פעילי טרור. כמו כן, טכנולוגיות ממוחשבות תסייענה למנוע ממשתמשים שחשבונותיהם נסגרו מלפתוח חשבונות חדשים תחת זהות חדשה.

חברת גוגל, בכובעה כמפעילה של האתר Youtube, עדכנה על הצעדים שנוקטת כבר היום כדי להיאבק בתכנים אלימים כאמור. בין הצעדים הללו ניתן למנות פעולות של התאמת תמונות (Image matching), שיתופי פעולה עם מומחים, סוכנויות למאבק בטרור וחברות טכנולוגיה אחרות כדי לחזק את המאבק המשותף בטרור וצעדים נוספים. נוסף על האמור, מנתה החברה ארבעה צעדים שעתידה לנקוט בעתיד הקרוב בנושא זה: האחד, הגברת השימוש בטכנולוגיה ואלגוריתמים לצורך איתור של תוכן תומך טרור ומסית לאלימות. השני, הגדלת מספר החברים בתכנית ה-Trusted Flagger (תכנית אשר מאפשרת לארגוני החברה האזרחית ולרשויות ממשלתיות להגיש דיווחים על תוכן אלים בצורה יעיל יותר). השלישי, שימוש בפעולות מתונות יותר, שאינן עולות כדי הסרת התוכן או הרחקת המשתמש, במקרים של פרסום תכנים פוגעניים שאינם מפרים במפורש את תנאי השימוש ב-Youtube. כך הוא למשל במקרה של תכנים המצדדים בעליונות הגזע הלבן (White supremacy), שאז אומנם אין הפרה של תנאי השימוש, אולם מדובר בתוכן מגונה. במקרים מעין אלה, ניתן יהיה לנקוט בצעדים לצמצום התפוצה של התוכן, למשל על-ידי חסימת האפשרות להגיב לתוכן, אי הצמדת פרסומות לתוכן ומתן אפשרות להרוויח כסף ממנו, ואי הצגתו של התוכן כ"מומלץ לצפייה" על-ידי הפלטפורמה. הרביעי, הגברת התמיכה של Youtube בעמותות וארגונים הפועלים להגברת ה"קול המתקן" (Counter-Speech), דהיינו העמדת נרטיב נוגד לנרטיב המסית, אשר יצבור נפח מספק כדי לאזן את הסילוף העשוי להיות מגולם בתוכן המסית.

כפי שניתן לראות, שתי החברות הודיעו באופן פומבי כי עושות שימוש בבינה מלאכותית כדי לאתר ולהביא להסרתו של תוכן מסית ותומך-טרור. עד כה, היה ידוע באופן רשמי שפייסבוק וגוגל משתמשות בבינה מלאכותית לצורך סריקה והסרה של תכנים המפרים זכויות יוצרים ותכנים הכוללים פרסומי תועבה ובהם דמויות של קטינים. בשני סוגי הפרסומים האלה – הפרת זכויות יוצרים ותכנים פדופיליים – לא מתעוררת שאלה של הקשר (קונטקסט) הפרסום. במלים אחרות, גם דיווח הוגן באתר חדשות למשל, על אודות תכנים פדופיליים שהתגלו במסגרת תיק חקירה מסויים – לא יכול לכלול בתוכו את התוכן הפדופילי. אתר חדשות שיפרסם את התוכן הפדופילי בנסיבות אלה, ייחשד בביצוע עברה של פרסום התוכן הפדופילי. הוא הדין ביחס לזכויות יוצרים. ואולם, בכל הנוגע לתכנים העולים כדי הסתה לאלימות ולטרור או תמיכה בארגוני טרור, הרי שבהחלט קיימות נסיבות ה"מתמימות" את הפרסום והופכות אותו ללגיטימי בנסיבות העניין. לדוגמה, דיווח חדשותי על סרטון הסתה חדש מבית היוצר של ארגון החמאס, הכולל הפנייה אל הסרטון – עשוי להיחשב לפרסום לגיטימי, אשר אינו עולה כשלעצמו כדי הסתה לאלימות ולטרור. מכאן, שלניתוח הקונטקסטואלי (ההקשרי) נודעת חשיבות מיוחדת, כשמדובר בתכני הסתה לאלימות ולטרור. מעבר לדוגמה זו, ישנם הקשרים יותר מורכבים, כגון אירוניה, סאטירה וכדומה, שההבחנה אימתי הפרסום לגיטימי ומתי לא, היא משימה מורכבת במיוחד לפרקליטים ואף לפרקליטים מיומנים בתחום, קל וחומר כשהדבר ייעשה באמצעים ממוחשבים. על כן, ניטור והסרה באמצעים ממוחשבים מעורר חשש מובן מפני פגיעה עודפת בחופש הביטוי, מחשש שתכנים לגיטימיים יוסרו מהרשתות החברתיות בידי המכונה. דוגמה מוכרת להסרה עודפת של תכנים בשל שימוש באמצעים ממוחשבים, ללא הבנת ההקשר של הפרסום, היא הדוגמה של הסרת תכנים בפייסבוק שהציגו מתכונים ל"עוגה כושית", והמכונה, שכשלה בלימוד הטקסט במובן ההקשרי שלו, סברה כי מדובר בתוכן גזעני האסור אף הוא לפרסום בפלטפורמה של פייסבוק.

עם זאת, ניתן לקבוע כי הבינה המלאכותית תשמש לצורך ניטור התכנים בעלי הפוטנציאל להיות תכנים מסיתים או תומכי טרור, אולם ההחלטה על הסרת התכנים תיוותר בידי אנשים שיוכשרו לכך במסגרת חברות האינטרנט. במלים אחרות, הבינה המלאכותית יכולה לשמש לצרכי איסוף המידע. גם בכך יש מידה מסוימת של פגיעה בחופש הביטוי ובזכות לפרטיות, שכן התכנים והדוברים ינוטרו כל העת, אולם דומה כי פגיעה זו מצומצמת יחסית בעולם שבו הפרסום נעשה באופן פומבי ובמטרה להגיע לקהל יעד רחב ככל הניתן, אשר ממילא עשוי לבקר את הפרסום ולדרוש, במסגרת פנייה אישית לפלטפורמה, את הסרתו.

דומה כי טעמים פרקטיים מחייבים את השימוש בבינה מלאכותית, לפחות לצורך ניטור תכנים העלולים להיחשב כמסיתים לאלימות ולטרור. יש לזכור, כי לחברת פייסבוק כשני מיליארד משתמשים, הנכנסים לשירות לפחות אחת לחודש, ולחברת יוטיוב כמיליארד משתמשים, הנכנסים לשירות לפחות אחת לחודש. על כן, ברי כי כמות תוכן כזו מחייבת הסתייעות בטכנולוגיה על-מנת להתגבר על היקפי החומר אותו יש לבחון.

בחודשים הקרובים אנו צפויים לחזות באופן שבו תיושמנה הטכנולוגיות החדשות של ניטור והסרה של תכנים מסיתים לאלימות ולטרור. ימים יגידו האם צעדים אלה יביאו בפועל להפחתת התוכן המסית לאלימות ולטרור ברשתות החברתיות, ואם צעדים אלה לא יגרמו לעלייה בהסרת-היתר של התכנים מוגני-הביטוי. עוד מעניין יהיה לבחון האם צעדים יזומים אלה של חברות האינטרנט לא יובילו לתפישה, שתקבל אף גיבוי משפטי, כי לחברות אלה קמה אחריות משפטית כל אימת שהן לא יצליחו להביא להסרה של תכנים מסיתים לאלימות ולטרור, זאת בטענה שפעולת הניטור העצמי שלהן מהווה מעין הודאה שלהן באחריותן לנעשה על גבי הפלטפורמה שלהן.

-----------------------------------------------------------

Back to Blogs