Một trong những giá trị quan trọng tại Facebook là di chuyển nhanh. Trong sáu năm qua, chúng tôi đã có thể đạt được rất nhiều nhờ tốc độ phát triển nhanh chóng mà PHP cung cấp. Là một ngôn ngữ lập trình, PHP rất đơn giản. Đơn giản để học, đơn giản để viết, đơn giản để đọc và đơn giản để gỡ lỗi. Chúng tôi có thể khiến các kỹ sư mới phát triển nhanh hơn tại Facebook với PHP nhanh hơn nhiều so với các ngôn ngữ khác, điều này cho phép chúng tôi đổi mới nhanh hơn.
Hôm nay tôi rất vui mừng được chia sẻ dự án một nhóm nhỏ những người tuyệt vời và tôi đã làm việc trong hai năm qua; HipHop cho PHP. Với HipHop, chúng tôi đã giảm mức sử dụng CPU trên các máy chủ Web của chúng tôi trung bình khoảng năm mươi phần trăm, tùy thuộc vào trang. CPU ít hơn có nghĩa là ít máy chủ hơn, có nghĩa là ít chi phí hơn. Dự án này đã có một tác động to lớn trên Facebook. Chúng tôi cảm thấy Web nói chung có thể hưởng lợi từ HipHop, vì vậy chúng tôi sẽ phát hành nó dưới dạng nguồn mở tối nay với hy vọng rằng nó mang lại một trọng tâm mới về việc nhân rộng các trang web phức tạp lớn với PHP. Mặc dù HipHop đã cho chúng ta thấy kết quả đáng kinh ngạc, nhưng nó chắc chắn chưa hoàn thành và bạn nên thoải mái với phần mềm beta trước khi dùng thử.
HipHop cho PHP về mặt kỹ thuật không phải là trình biên dịch. Thay vào đó là một biến áp mã nguồn. HipHop lập trình chuyển đổi mã nguồn PHP của bạn thành C ++ được tối ưu hóa cao và sau đó sử dụng g ++ để biên dịch nó. HipHop thực thi mã nguồn theo cách tương đương về mặt ngữ nghĩa và hy sinh một số tính năng hiếm khi được sử dụng - như eval () - để đổi lấy hiệu suất được cải thiện. HipHop bao gồm một trình biến đổi mã, triển khai lại hệ thống thời gian chạy của PHP và viết lại nhiều Phần mở rộng PHP phổ biến để tận dụng các tối ưu hóa hiệu suất này.
Mở rộng quy mô PHP như một ngôn ngữ kịch bản
Nguồn gốc của PHP là những ngôn ngữ kịch bản, như Perl, Python và Ruby, tất cả đều có lợi ích lớn về năng suất lập trình viên và khả năng lặp lại nhanh chóng trên các sản phẩm. Điều này được so sánh với các ngôn ngữ được biên dịch truyền thống hơn như C ++ và các ngôn ngữ được dịch như Java. Mặt khác, các ngôn ngữ script được biết là thường kém hiệu quả hơn khi sử dụng CPU và bộ nhớ. Vì điều này, thật khó khăn khi mở rộng Facebook lên hơn 400 tỷ lượt xem trang dựa trên PHP mỗi tháng.
Một cách phổ biến để giải quyết những sự thiếu hiệu quả này là viết lại các phần phức tạp hơn của ứng dụng PHP của bạn trực tiếp trong C ++ dưới dạng Phần mở rộng PHP. Điều này phần lớn biến PHP thành ngôn ngữ kết dính giữa HTML ứng dụng và logic ứng dụng trong C ++. Từ góc độ kỹ thuật, nó hoạt động tốt, nhưng làm giảm đáng kể số lượng kỹ sư có khả năng làm việc trên toàn bộ ứng dụng của bạn. Học C ++ chỉ là bước đầu tiên để viết Phần mở rộng PHP, thứ hai là hiểu API Zend. Cho rằng nhóm kỹ sư của chúng tôi tương đối nhỏ - có hơn một triệu người dùng cho mỗi kỹ sư - chúng tôi không thể đủ khả năng để làm cho các phần của cơ sở mã của chúng tôi khó truy cập hơn những người khác.
Mở rộng Facebook đặc biệt khó khăn vì hầu hết mọi lượt xem trang là người dùng đăng nhập với trải nghiệm tùy chỉnh. Khi bạn xem trang chủ của mình, chúng tôi cần tìm kiếm tất cả bạn bè của bạn, truy vấn các bản cập nhật phù hợp nhất của họ (từ một dịch vụ tùy chỉnh mà chúng tôi đã xây dựng có tên là Multifeed), lọc kết quả dựa trên cài đặt quyền riêng tư của bạn, sau đó điền vào các câu chuyện bằng các bình luận , ảnh, lượt thích và tất cả dữ liệu phong phú mà mọi người yêu thích trên Facebook. Tất cả điều này chỉ trong chưa đầy một giây. HipHop cho phép chúng ta viết logic thực hiện việc lắp ráp trang cuối cùng trong PHP và lặp lại nhanh chóng trong khi dựa vào các dịch vụ back-end tùy chỉnh trong C ++, Erlang, Java hoặc Python để phục vụ News Feed, tìm kiếm, Trò chuyện và các phần cốt lõi khác của trang web.
Từ năm 2007, chúng tôi đã nghĩ về một vài cách khác nhau để giải quyết những vấn đề này và thậm chí đã thử thực hiện một vài trong số chúng. Gợi ý phổ biến là chỉ viết lại Facebook bằng một ngôn ngữ khác, nhưng với sự phức tạp và tốc độ phát triển của trang web, điều này sẽ mất một thời gian để hoàn thành. Chúng tôi đã viết lại các khía cạnh của Zend Engine - phần bên trong của PHP - và đã đóng góp các bản vá đó lại cho dự án PHP, nhưng cuối cùng vẫn chưa thấy loại tăng hiệu suất cần thiết. Lợi ích của HipHop gần như minh bạch đối với tốc độ phát triển của chúng tôi.
Hack lên HipHop
Một đêm tại Hackathon vài năm trước (xem Prime Time Hack), tôi bắt đầu đoạn mã đầu tiên chuyển đổi PHP thành C ++. Các ngôn ngữ khá giống nhau về mặt cú pháp và C ++ vượt trội hoàn toàn so với PHP khi nói đến cả việc sử dụng CPU và bộ nhớ. Ngay cả bản thân PHP cũng được viết bằng C. Chúng tôi biết rằng không thể viết lại thành công toàn bộ một cơ sở mã có kích thước này bằng tay, nhưng tự hỏi điều gì sẽ xảy ra nếu chúng tôi xây dựng một hệ thống để thực hiện theo lập trình.
Tìm cách mới để cải thiện hiệu năng PHP không phải là một khái niệm mới. Trong thời gian chạy, Zend Engine biến nguồn PHP của bạn thành các opcode sau đó chạy qua Máy ảo Zend. Các dự án nguồn mở như APC và eAccelerator lưu trữ đầu ra này và được phần lớn các trang web hỗ trợ PHP sử dụng. Ngoài ra còn có Zend Server, một sản phẩm thương mại giúp PHP nhanh hơn thông qua tối ưu hóa opcode và bộ nhớ đệm. Thay vào đó, chúng tôi đã suy nghĩ về việc chuyển đổi trực tiếp nguồn PHP thành C ++, sau đó có thể được chuyển thành mã máy gốc. Ngay cả việc biên dịch PHP cũng không phải là một ý tưởng mới, các dự án nguồn mở như Roadsend và phc biên dịch PHP thành C, Quercus biên dịch PHP sang Java và Phalanger biên dịch PHP thành .Net.
Không cần phải nói, nó mất nhiều thời gian hơn so với Hackathon đơn lẻ đó. Tám tháng sau, tôi đã có đủ mã để chứng minh rằng thực sự có thể chạy nhanh hơn với mã được biên dịch. Chúng tôi nhanh chóng bổ sung Iain Proctor và Minghui Yang vào nhóm để đẩy nhanh tiến độ của dự án. Chúng tôi đã dành mười tháng tiếp theo để hoàn thành tất cả mã hóa và sáu tháng tiếp theo thử nghiệm trên các máy chủ sản xuất. Chúng tôi tự hào nói rằng tại thời điểm này, chúng tôi đang phục vụ hơn 90% lưu lượng truy cập Web của chúng tôi bằng HipHop, tất cả chỉ sáu tháng sau khi triển khai.
HipHop hoạt động như thế nào
Thách thức chính của dự án là thu hẹp khoảng cách giữa PHP và C ++. PHP là một ngôn ngữ kịch bản với kiểu gõ năng động, yếu. C ++ là một ngôn ngữ được biên dịch với kiểu gõ tĩnh. Trong khi PHP cho phép bạn viết các tính năng động kỳ diệu, hầu hết PHP tương đối đơn giản. Có nhiều khả năng bạn nhìn thấy if (...) {...} else {..}hơn là nhìn thấy
function foo($x) { include $x; }. Đây là nơi chúng tôi đạt được trong hiệu suất. Bất cứ khi nào có thể, mã được tạo của chúng tôi sử dụng liên kết tĩnh cho các hàm và biến. Chúng tôi cũng sử dụng suy luận kiểu để chọn loại cụ thể nhất có thể cho các biến của mình và do đó tiết kiệm bộ nhớ.
Quá trình chuyển đổi bao gồm ba bước chính:
- Phân tích tĩnh nơi chúng tôi thu thập thông tin về người tuyên bố những gì và phụ thuộc,
- Nhập suy luận trong đó chúng tôi chọn loại cụ thể nhất giữa các vô hướng C ++, Chuỗi, Mảng, lớp, Đối tượng và Biến thể, và
- Việc tạo mã mà phần lớn là sự tương ứng trực tiếp từ các câu lệnh và biểu thức PHP đến các câu lệnh và biểu thức C ++.
Chúng tôi cũng đã phát triển HPHPi, một trình thông dịch thử nghiệm được thiết kế để phát triển. Khi sử dụng HPHPi, bạn không cần phải biên dịch mã nguồn PHP trước khi chạy nó. Nó đã giúp chúng tôi bắt lỗi trong chính HipHop và cung cấp cho các kỹ sư cách sử dụng HipHop mà không thay đổi cách họ viết PHP.
Nhìn chung, HipHop cho phép chúng tôi giữ các khía cạnh tốt nhất của PHP trong khi tận dụng các lợi ích hiệu năng của C ++. Tổng cộng, chúng tôi đã viết hơn 300.000 dòng mã và hơn 5.000 bài kiểm tra đơn vị.