Magento có phải là nền tảng phù hợp cho các sản phẩm 1M không?

Tôi cần xem Magento sẽ hoạt động như thế nào với 1 triệu SKU; nhưng tôi đang vật lộn để tìm một tập hợp dữ liệu mẫu lớn để tải xuống - hoặc tìm một phương pháp khả thi để tạo nguồn cấp dữ liệu để nhập (và chính quá trình nhập).

1. Có ai biết nơi tôi có thể tải xuống một tập dữ liệu lớn về dữ liệu giả để nhập (hoặc một phương tiện hợp lý để tạo và nhập dữ liệu đó) không?
2. Vấn đề gì bạn thấy trước khi có kích thước danh mục sản phẩm 1M +?
3. Có cách nào để chia sẻ một sản phẩm DB với nhiều cửa hàng độc lập (các công ty khác nhau) không?

tl;dr ->" Magento có thể xử lý các sản phẩm 1M không ", câu trả lời là có , nhưng với một số cân nhắc. Ở quy mô này, người ta sẽ cho rằng bạn có khối lượng để hỗ trợ đầu tư tốt vào cơ sở hạ tầng và nhân sự để bán một danh mục theo tỷ lệ này.

Đầu tiên:

Dữ liệu mẫu của Magento CE, như bạn có thể thấy, chỉ có một số ít các sản phẩm từ các loại khác nhau. Dữ liệu mẫu EE có nhiều hơn và được phân tách theo loại cửa hàng.

Bạn có thể tải dữ liệu mẫu CE tại đây . Bạn sẽ phải tải xuống dữ liệu mẫu EE từ trong tài khoản MagentoC Commerce.com của mình nếu bạn có EE.

Tuy nhiên, bạn sẽ thấy rằng đây không phải là hàng trăm hoặc thậm chí hàng ngàn sản phẩm. Tôi sẽ khuyên bạn nên nhập sản phẩm vào cơ sở dữ liệu - một bài tập tốt để nắm được cách thức hoạt động của quy trình này. Điều này có thể được thực hiện thông qua Dataflow của Magento hoặc thông qua nhập API - thông tin về cách thực hiện điều này ở quy mô có sẵn trên internet.

Một lời cảnh báo - Dataflow nổi tiếng là chậm, vì vậy có thể mất một khoảng thời gian hợp lý để nhập một danh mục kích thước mà bạn yêu cầu. Theo hiểu biết của tôi , không có một danh mục mẫu trong tự nhiên với hàng trăm ngàn hoặc hàng triệu sản phẩm tồn tại.

Chỉnh sửa 1/7/14:

@ryaan_anthony trên Twitter đã phát hành một quy trình lưu trữ MySQL sẽ tạo ra hàng trăm ngàn sản phẩm https://gist.github.com/ryaan-anthony/6290973

Một số đọc về Magento API và Dataflow:

http: //www.magentoc Commerce.com/ledgeledge-base/entry/int sinhtion-to-magento-dataflow

http: //www.magentoc Commerce.com/api/soap/catalog/catalog.html

Thứ hai:

Sản phẩm, Viết lại URL và Lập chỉ mục hàng tồn kho là những vấn đề chính khi chạy một danh mục kích thước này . Tìm kiếm danh mục cũng có thể khá chậm, nhưng có thể được giảm thiểu nếu bạn sử dụng Apache Solr (tích hợp được cung cấp tự nhiên cho EE). Có các plugin CE cho Solr - Sonassi có một và các plugin khác có thể được tìm thấy qua Google.

Tôi đã quản lý các danh mục trong phạm vi 700 nghìn, vẫn còn ít hơn 1 triệu và việc lập chỉ mục có thể mất hàng giờ . Điều này đã được giải quyết trong Doanh nghiệp 1.13 . Tôi thực sự khuyên bạn nên xem xét kỹ phiên bản Enterprise ở quy mô này. Điều này có thể với CE? Chắc chắn rồi; nhưng các cải tiến lập chỉ mục trong EE 1.13 đặc biệt được điều chỉnh theo loại tình huống này.

Thứ ba:

Nhiều cửa hàng có nguồn gốc từ Magento; bạn có thể thiết lập các danh mục và trang web cấp cao nhất khác nhau. Tất cả họ không phải chia sẻ cùng một danh mục - bạn có thể chọn sản phẩm nào để chia sẻ trên các trang web hoặc quyết định giữ danh mục của bạn tách biệt. Thêm thông tin ở đây:

http: //www.magentoc Commerce.com/ledgeledge-base/entry/overview-how-multipl-websites-stores-work

Càng nhiều cửa hàng, lượt xem cửa hàng bạn có trong Magento, càng có nhiều mục nhập chỉ mục và danh mục phẳng của bạn có thể phình to đến mức danh mục phẳng thực sự có thể là một sự tiêu hao hiệu suất. Một lần nữa, Sonassi có rất nhiều thông tin về điều này ở đây trên Magento.SE và trên trang web của họ . Bạn sẽ muốn tìm kiếm một số câu trả lời của Sonassi trên Magento.SE để xử lý / nhân rộng Magento khi bạn tham gia vào lĩnh vực quản lý sản phẩm này.

Cài đặt của mỗi người là khác nhau - bạn cần liên tục kiểm tra, tinh chỉnh, thực hiện các chỉnh sửa để tìm cài đặt nào hoạt động tốt nhất cho danh mục của bạn, trong tình huống của bạn.

Sử dụng ApiImport để nhập một lượng lớn sản phẩm như vậy. Nó dựa trên ImportExport và thực sự nhanh chóng ... Tôi đã quản lý tới 500 nghìn sản phẩm đơn giản (được lập chỉ mục) mỗi giờ trên một máy ảo.

Chỉ cần chạy tests / Bench_import_api.php. Chỉnh sửa tệp đó để xóa các loại thực thể (và các kiểu con) mà bạn không cần. Bạn cũng có thể muốn đặt USE_API thành false để có kết quả nhanh hơn.

Chúng tôi đã sử dụng http://www.icecat.biz/en/ trong quá khứ để trích xuất nguồn cấp dữ liệu sản phẩm để tải dữ liệu mẫu. Cũng có một vài phần mở rộng Magento, nhưng chúng chưa bao giờ làm việc cho chúng tôi vì vậy chúng tôi đã viết ra hầu hết các tập lệnh nhập khẩu của chúng tôi.

để có được một triệu sản phẩm vào magento. viết tập lệnh php đơn giản tạo tập tin csv nhập sản phẩm được hỗ trợ bằng magmi với các loại sản phẩm khác nhau. Sau đó sử dụng magmi để nhập chúng

http://sourceforge.net/apps/mediawiki/magmi/index.php?title=Magmi_Wiki

Không thực sự là một câu trả lời đầy đủ vì có vẻ như những người khác đã giải quyết hầu hết các câu hỏi của bạn, chỉ là một vài điều cần thêm:

1) Tôi đã đặt vấn đề này: Gần một triệu sản phẩm Magento ngẫu nhiên trong mười CSV Bạn cũng có thể thử http://beta.generatedata.com/ .

2) Như Philwinkle đã đề cập: lập chỉ mục, luồng dữ liệu và tìm kiếm là trở ngại lớn nhất để vượt qua với một tập dữ liệu lớn như vậy. EE1.13 thực hiện công việc xử lý dữ liệu lớn như vậy (Trình kích hoạt MySQL, xem xét tất cả trạng thái sản phẩm / danh mục, v.v.), nhưng hãy nhớ rằng đây vẫn là một bản phát hành ban đầu (x.0.0), tôi có xu hướng chờ một vài phát hành để cho người khác chịu trách nhiệm tìm lỗi trước khi xem xét nó cho môi trường sản xuất. Cơ sở hạ tầng và tối ưu hóa là chìa khóa. Nâng cấp trong tương lai cũng là một điều khác cần xem xét, vì ALTER TABLEkhông được kết hợp trong quá trình nâng cấp và có thể mất hàng giờ / ngày để thực hiện nâng cấp trên DB:

• Batching thay đổi lược đồ cơ sở dữ liệu trong quá trình nâng cấp

Một số đọc thêm về chủ đề lập chỉ mục trên một cơ sở dữ liệu lớn:

• http://mindutopia.com/2012/04/reindexing-large-product-database-in-magento/

3) Cách dễ nhất để chia sẻ dữ liệu giữa hai cửa hàng Magento là thông qua yêu cầu REST / SOAP cho API Magento của các công ty khác. Cách khác là chỉ cần đổ danh mục từ một công ty và cho phép công ty kia chọn và phân tích nó, nó có thể nhanh hơn nhiều so với việc đi qua API với hơn 1 triệu sản phẩm.

Chúng tôi chỉ làm việc trên một dự án với 1,2m (không có thuộc tính và đặc biệt chỉ có một lượt xem cửa hàng) sử dụng magento 1.7.x và đây là một số kinh nghiệm chúng tôi đã có:

1. Trên thực tế nhập khẩu các sản phẩm khá tốt, tôi nghĩ rằng lần nhập đầu tiên của chúng tôi mất khoảng 1,5h

2. Khi thực hiện reindex, đĩa io của chúng tôi sẽ bị ảnh hưởng rất nhiều, giải pháp là lấy một lượng ram tốt (ví dụ 32gb ram amazon ssd). Tối ưu hóa cài đặt innodb nơi chúng tôi đặt phân bổ bộ nhớ nhóm innodb lên một chút so với kích thước của cơ sở dữ liệu và đặc biệt là thay đổi bộ đệm bảng tạm thời từ 16mb mặc định thành 128mb, đây thực sự là điều đã cứu quá trình reindexing của chúng tôi.

3. Bộ nhớ cache, chỉ sử dụng bộ đệm APC cho bộ đệm nhanh, các tệp cho bộ đệm chậm, tắt ghi nhật ký và mô-đun không cần thiết cùng với bảng phẳng và một vài tối ưu hóa khác làm cho máy chủ phân phối các trang sản phẩm html (không phải toàn bộ trang) trong 200ms. Trên danh sách việc cần làm của chúng tôi là bộ nhớ cache véc ni.

4. Chúng tôi, nơi chiến đấu và tiêu diệt rất nhiều vấn đề bế tắc (một số trong quản trị viên vẫn còn), có thể phiên bản mới hơn của Magento sẽ không đưa ra những vấn đề này theo các diễn đàn.

Tôi sẽ nói rằng thực sự có vấn đề với 1,2 triệu sản phẩm, đó không phải là điều tôi khuyên bạn nên làm mà không có đội ngũ và nguồn lực phù hợp, tuy nhiên nếu bạn có thời gian bạn có thể làm cho nó hoạt động.

Tôi không biết nền tảng nào khác sẽ làm việc tốt hơn.

Luôn luôn tốt điều này, có Magento CE & EE có thể (từ kinh nghiệm không phải lý thuyết sử dụng bộ dữ liệu được cung cấp) mặc dù rõ ràng EE là tốt hơn để lập chỉ mục. Magmi vẫn ổn tuy nhiên khi bạn đến reindex cho tải ban đầu, bạn sẽ gặp vấn đề nghiêm trọng. Sau đó, bạn phải bảo trì trong đó nếu 3% sản phẩm thay đổi hàng ngày bạn cần cập nhật 30.000 sản phẩm có chỉ số tự động, bạn sẽ không thể thực hiện reindex hàng ngày. Tất cả điều này có hai điều, lưu trữ cụm và nhà cung cấp kích hoạt delta trên tàu, đó là các lĩnh vực của các công ty doanh nghiệp.

Mọi người dường như nghĩ rằng công việc kết thúc khi các sản phẩm được tải, tuy nhiên đó là khi công việc khó khăn bắt đầu. Nếu bạn có quá nhiều cửa hàng, các mức giá thì lưu trữ của bạn cần tăng gấp đôi, vì vậy đối với tất cả các ý định và mục đích 95% không có cơ hội thực hiện nó, 99% không có cơ hội duy trì nó. Hàng triệu sản phẩm tương đương với Doanh nghiệp Trung bình đến Lớn - nếu các chuyên gia tư vấn của bạn không có kinh nghiệm này hy vọng cơ sở hạ tầng sẽ sụp đổ trung và dài hạn.

Magmi cũng tuyệt vời để nhập số lượng lớn sản phẩm. http://sourceforge.net/apps/mediawiki/magmi/index.php?title=Magmi_Wiki

Chúng tôi đang nghiên cứu phát triển cho một khách hàng tại thời điểm hiện có 2,2 triệu SKU, việc nhập ban đầu được thực hiện bằng Magmi.