רוב משתמשי הקצה לא אמורים להבחין בהבדלים עדיין, אבל החיפוש של טוויטר אמור כעת להתרחב טוב יותר, להוסיף יותר ציוצים לשנייה ולהשתמש בפחות ממשאבי המערכת של טוויטר. כל המדרגיות והמרווח החדש הזה יעניקו למפתחים של טוויטר את היכולת לבנות תכונות חיפוש חדשות ומגניבות בעתיד הקרוב (אנחנו מקווים לקטלוג אחורי ישן יותר של ציוצים שיופיע בתוצאות החיפוש, אבל שום דבר כזה עדיין לא אושר) .

אז מה קרה ל-Summize?

ככל הנראה, זהרכישה בשלב מוקדםמ-2008 כמעט נעלמה; מנוע החיפוש בזמן אמת של טוויטר כבר לא מבוסס על הטכנולוגיה של Summize.

גם ארכיטקטורת החיפוש כבר לא מבוססת על MySQL, שהקנה מידה של מפתח טוויטר מייקל בושציין, "הפך למאתגר יותר ויותר."

לפני כחצי שנה, בוש (מתחייב מלוסין) והצוות החליטו לבצע את המעברלוסין, תוכנה בת 10 שנים לאחזור מידע בקוד פתוח. לאחר מכן, הצוות השקיע זמן איכות (וכמות) בפריצה של Lucene כדי להתאים לצרכים הייחודיים של טוויטר. וכמובן, מכיוון ש- Lucene הוא קוד פתוח, השינויים מתווספים ל- Lucene, במיוחד הסניף שלו בזמן אמת.

"שכתבנו חלקים גדולים ממבני הליבה של הנתונים בזיכרון", אמר בוש, "במיוחד את רשימות הפרסום, תוך כדי תמיכה בממשקי ה-API הסטנדרטיים של Lucene." הצוות גם שיפר את איסוף האשפה, הוסיף מבני נתונים ואלגוריתמים ללא נעילה ועוד כמה דברים נחמדים.

התרשמנו מכך שלא הבחנו בהתנהגות מוזרה או זמן השבתה עבור חיפוש בטוויטר, במיוחד. אבל ברצוננו לדעת יותר על הבעיות שהיו למהנדסי טוויטר עם MySQL שלא היה מסוגל לבצע קנה מידה טוב. אולי לא שמתם לב, אבל קנה המידה של מסד הנתונים היה משהו בסגנוןנושא חוזרכאן לאחרונה.